まえがき
現在の通信基盤が抱える様々な課題の全てを解決 する革新的な設計思想を持つ情報通信基盤の構築に は、進化型ネットワーク仮想化（Advanced Network Virtualization）の考え方が必要となる。情報通信基 盤は広義には、データを伝達する通信のための資源 を有する「リンク」とプロトコルを解釈しリンクを選 択するプログラムを実行する計算資源やストレージ 資源を有する「ノード」を基本要素として構成され るが、進化型ネットワーク仮想化では、この広義の ネットワーク全体を仮想化して利用する。具体的に は、（1）資源の抽象化（Abstraction）、（2）資源の独立 分離性（Isolation）、（3）資源の融通性（Elasticity）、（4） プ ロ グ ラ ム 可 能 性（Programmability）、（5）認 証 性 （Authentication）の 5 つの要件を満たしながら、ネッ トワークを自由な発想で白紙から創造・設計すること を可能とし、さらにそれらを複数同時に収容する基 盤（メタアーキテクチャ）を実現する新世代の重要情 報通信基盤を構築する。本稿では、このような進化型 ネットワーク仮想化を実現するための統合管理型ネッ トワーク仮想化基盤技術の研究開発について述べる。ネットワーク仮想化基盤の概要
我々が研究開発を行ってきたネットワーク仮想化 基盤[1]の全体構成を図 1 に示す。ネットワーク仮想化 基盤は仮想ネットワーク（スライス）を実現する仮想 化ノード（VNode）、スライスと利用者（ユーザ）との 接続を提供するアクセスゲートウェイ（AGW）、ネッ トワーク仮想化基盤の資源を管理しスライス開発者 （デベロッパー）からのスライス要求からスライスを 生成するネットワーク仮想化基盤管理システムから構 成される。仮想化ノードはネットワーク機能をソフト ウェアで実現する仮想ノードを提供するプログラマと、 仮想ノード間を接続する仮想リンクを提供するリダイ レクタから構成される。さらにエッジ・ネットワーク や端末も仮想化し、スライスを提供する。1
2
トランスポートパス網 サービスNW管理 システム クラウド （プログラマ＋リダイレクタ） エッジNW仮想化 （FLARE） トランスポートNW管理システム アクセスゲートウェイ （AGW） スライスA スライスB 端末仮想化 仮想リンク 仮想ノード リダイレクタ プログラマ スライス測定 NW仮想化基盤管理システム 仮想化ノード（VNode） 図 1 ネットワーク仮想化基盤の全体像統合管理型ネットワーク仮想化基盤技術
山田一久 中尾彰宏 金田 泰 才田好則 雨宮宏一郎 進化型ネットワーク仮想化を実現する統合管理型ネットワーク仮想化技術について、従来の ネットワーク仮想化基盤からの新たな追加拡張機能の研究開発成果について報告する。ネット ワーク仮想化基盤の要件である資源抽象化、資源分離独立性、資源融通性、プログラム可能性、 認証性を満たしながら、進化可能なアーキテクチャを提案するとともに、エッジ・ネットワーク や端末の仮想化への拡張を行い、テストベッドへの展開を行った。研究開発内容
本研究開発では従来のネットワーク仮想化基盤に機 能拡張や新規機能追加をすることにより、より高機能 かつ高性能なネットワーク仮想化基盤を提供するとと ともに、エッジ・ネットワークや端末、他の仮想化基 盤へのスライス拡張を実現している。以下に具体的な 研究開発内容について述べる。 3.1 進化可能なネットワーク仮想化基盤アーキ テクチャ ネットワーク資源のスライシングにより、複数の独 立に柔軟にプログラムが可能で、将来の要素技術と共 に進化が可能なネットワーク仮想化基盤のアーキテク チャの研究開発を行ってきた。持続的にシステムが進 化するには、リンク技術やプロセシング技術、及びス トレージ技術がそれぞれ独立に進化しても、それらの 要素を柔軟に取り込む事が可能であり、それによって、 各技術の最新のものが利用可能なアーキテクチャと なっていなければならない。 VNode のアーキテクチャは、仮想ネットワークの 構造を定義するためのリンク資源を管理するリダイレ クタ、及びノード資源を提供し、深遠なプログラム性 （Deeply Programmable）を提供するプログラマの 2 つの部分に分離し、両者は独立して進化可能となって いる。 また端末からエッジ・コアネットワーク全てを包含 し全体を仮想化し、スライスの概念をインフラ全体で 実現するアーキテクチャとするため、十分なリソース による資源割当てと高精度の帯域保証が可能なコア ネットワークと様々な形態のエンド端末をスケーラブ ルにスライスに収容しフレキシブルに仮想化技術が導 入できるエッジ・ネットワークとの 2 つの要求条件が 異なるネットワークで構成した。エッジ・ネットワー クの役割は、エンド・ツー・エンドで、新しいプロト コルを使用可能とし、簡単に、仮想ネットワークに無 線モバイル端末も含めたユーザ端末収容とクラウド ネットワークとの結合を前提条件としてアーキテク チャ検討を行った。 図 1 は、VNode システムをコアネットワークと しエッジ・ネットワークを結合したスライサブルな エッジ・コア統合ネットワーク仮想化基盤の全体を 示している。VNode については、以下に続く各節 にて詳しく述べる。エッジ・ネットワーク向けには、 VNode と比べて軽量かつ低消費電力のネットワーク 仮想化ノードとして FLARE というノードを開発し た。FLARE ノードのアーキテクチャの要求条件とし て、ユーザ端末あるいはアプリケーションの要求に応 じ、ネットワーク処理能力の割当てが行え、最適なネッ トワーク・プロトコルあるいはネットワーク処理がプ ログラマブルに提供できることを目指した。 FLARE ノードのハードウェアは、パケット処理を 行うデータプレーンにメニコアのネットワークプロ セッサを、パケット処理を制御あるいは高度な計算 処理を行うコントロール・プレーンには、x86 アー キテクチャのインテル・プロセッサを PCIe インタ フェースで結合して構成した。図 2 に示すような外部 の FLARE ノード管理サーバにより、FLARE ノード に、軽量 Linux コンテナ（LXC）技術による仮想マシ ンを使用して、両プロセッサ上で仮想化を行い、スラ イスを生成する構成になる。メニコア・プロセッサ上 でのスライス生成では、スライスごとにコアを割り当 てることで、スライス間の処理のアイソレーションを 確保している。また物理ポートに対し、入出力ポート あるいはパケットに付加したタグ情報にて、パケット 分離して各スライスに振り分ける Slicer スライスと呼 ぶスライスを設け、各スライスで個別のネットワー ク処理を可能にした。図 2 では、FLARE ノード 1 台 で、スライス 1 にイーサーネット・スイッチ、スライ ス 2 に MAC アドレス・バイト長を拡張したパケット をスイッチングするスイッチ、さらにスライス n に OpenFlow スイッチの各機能をプログラマブルに設定 可能であることを示している。 エッジ端末あるいはエッジ・ネットワークからのト ラフィックをコアネットワークのスライスに収容す るためアクセスゲートウェイ（AGW）の開発を行った。 図 3（A）に示す IPSec トンネル及びタグ VLAN でス ライスに収容する方法と、図 3（B）に示すような、パ ケットのトレイラーに情報バイトを付加する方式を開 発した。トレイラー・バイト方式では、既存ネットワー クが含まれていても、FLARE ノードでトレイラー・ バイトと VLAN ID 変換処理を行うことで、宛先のコ アネットワークのスライスに収容できることが特徴で ある。さらにトレイラー・バイトに端末で使用して3
図 2 FLARE ノードの構成 スライス1 スライス2 スライスn 物理ポート FLAREノード・ マネジャー FLARE ノード 管理サーバ OpenFlow イーサーネット スイッチ 拡張MAC スイッチ仮想NIC 仮想NIC 仮想NIC
10GbEまたはGbEポート Slicerスライス
いるアプリケーション情報と端末識別 ID を書き込む 処理を端末内で行うことにより、従来は Deep Packet Inspection (DPI) 装置が必要となるアプリケーション 特化したスライス収容が、容易にできるようになった。 3.2 制御管理機構（資源の抽象化と融通性） 統合管理型ネットワーク仮想化基盤では、多様な物 理ネットワーク資源を抽象化し、仮想化することによ り、柔軟かつ統合的な資源管理を実現している[2]。本 研究開発では、資源の抽象化管理をトランスポート ネットワークへ拡張し、トランスポートネットワーク との連携制御管理を実現した。一般的なネットワー クサービスを提供するインフラネットワークの構成 は、ネットワークサービスを提供するサービスノード 群から成る“サービスネットワーク”とサービスノー ド間を接続しそのパケットを転送する“トランスポー トネットワーク”から成り、後者はサービス内容によ らずパケットを転送し、複数のサービスで共用され る。ネットワーク仮想化基盤でも VNode で構成され るサービスネットワークと、既存のスイッチやルータ で構成されるトランスポートネットワークにて構成さ れるため、ネットワーク仮想化基盤管理システムには、 サービスネットワーク制御管理とトランスポートネッ トワーク制御管理の統合制御管理が必要となる。図 4 にサービスネットワークとトランスポートネットワー クの統合制御管理の構成を示す。サービスネットワー スライス １ スライス ２ スライス ３ トレイラーバイトからsidまたはア プリケーションを識別し接続スラ イスに対応したVLAN IDを付加 AGW VNode FLAREノード WiFiアクセス ポイント スマートフォン 端末ID及びアプリケーション 情報をトレイラーに付加 ヘッダ ペイロード スライスに対応したVLAN ID エッジネットワーク （VLANのサポートが必要） 既存ネットワーク スライスID(sid)に対応した トレイラーに付加 スライス １ スライス ２ スライス ３ AGW VNode IPsecトンネル VLAN 1 sid 1 sid 2 sid 3 sid 1 sid 2 sid 3 トレイラーバイト VLAN ID (A) IPsecトンネル及びVLANによる端末のスライス接続 (B) FLAREノードを使用したトレイラー方式による端末のスライス接続 図 3 エッジ端末トラフィックのスライス収容方法 仮想化ノード SW/Router トランスポート ネットワーク サービス ネットワーク TNC
Developer
スライスの作成/削除/操作Operator
SNC トランスポート ネットワークの操作 他サービスネットワーク スライス生
成
図 4 サービスネットワークとトランスポートネットワークの構成クの制御管理を行うサービスネットワーク管理システ ム（Service Network Controller: SNC）と、トランス ポートネットワークの制御管理を行うトランスポー トネットワーク管理システム（Transport Network Controller: TNC）とを連携させ、スライス生成時に仮 想リンクを実現するために必要なトランスポートパス への資源割当てやトランスポートパスの自動生成を行 う。SNC ではトランスポートネットワーク資源を抽 象化されたトランスポートパスとして扱い、仮想リン クを作成するために必要なトランスポートパスの資 源量を TNC へ通知する。TNC では用意された物理 資源を利用して必要なトランスポートパスを生成し、 SNC に対して提供する。 資源の融通性として、スライスに割り当てられて いるネットワーク資源を動的に変更し、サービス品 質の維持や全体最適化を実現するためには、スライ ス自身の性能の測定が必要となる[3]。ネットワーク仮 想化基盤では、スライスごとにスライスのトポロジ や識別 ID が異なるため、SNC 及び TNC から測定す るスライスのトポロジ情報とスライス情報を取得し、 測定点やフィルタ条件の設定を行う NW Monitoring Manager を開発した。図 5 にネットワーク仮想化基 盤管理システムと NW Monitoring Manager との連携 によるスライス計測方法を示す。スライスの管理者 である Developer は、測定したいスライス、測定地 点、測定日時をネットワーク仮想化基盤管理システム の Portal 画面から指定する。ネットワーク仮想化基 盤管理システムからは、測定リンク情報とスライス 識別情報を NW Monitoring Manager に提供し、NW Monitoring Manager にて測定点を切り替える光ス イッチと計測を行う PRESTA 10 G のフィルタ設定を 行う。測定結果は NW Monitoring Manager からネッ トワーク仮想化基盤管理システムを介して Developer に通知される。 3.3 リソース制御（資源の独立分離性） ネットワーク仮想化においてはスライス間のリソー ス干渉を防ぐことが重要である。たとえば、あるスラ イスが通信帯域を独占したり他のスライスに不当な遅 延を発生させたりしてはならない。このようなリソー ス干渉を避ける機能が「リソースアイソレーション」 である。端点間 （end-to-end） で干渉をなくすには仮 想化基盤全体でリソースアイソレーションを達成する 必要があるが、この目標を達成する上で特に重要なの はリダイレクタであると我々は考えた。従来のネット ワーク仮想化基盤でもリダイレクタにおいて基本的な リソースアイソレーション機能が実現されていた[4]が、 今回の研究開発においてそれを更に強化した。従って ここではまず基本機能について記述し，本研究開発に おける強化点について記述する。 リダイレクタにおけるリソースアイソレーション基 本機能については論文[4] に記述したが、その概要は 次のとおりである。リダイレクタは VLAN 機能、IP ルーティング機能、QoS 機能などをもつ L3 スイッ チを内蔵している。このスイッチは QoS 機能として Weighted Fair Queuing （WFQ） 機能、ポリシング 機能などをもっているが、リダイレクタはこれらを 使用してリソースアイソレーションを実現している。 WFQ 機能はスイッチからパケットを出力する際にパ ケットをフローごとにキューイングしてフローの出力 帯域を制御するが、リダイレクタはこの機構によって スライスごとの高性能な帯域制御を実現している。し かし、この方法はキューイングのために高速メモリが 必要なので高速回線においては比較的高コストであり、 従来は限られたスライスだけがこの機能を使用できた。 これに対してポリシング機能はメモリを必要としない ため低コストであり、数十個以上のスライスにおいて リソースアイソレーション機能を利用することができ た。ただし WFQ を使用する方法と比べると性能は低 TNC SNC Portal NW monitoring manager NW仮想化基盤管理システム ・測定予約 ・測定リンク指定 ・スライス識別情報 ・測定開始/停止 ・測定結果共有 測定 IF 測定リンク指定画面例 測定予約画面例 測定結果表示例 PRESTA 10G 光スイッチ 仮想化 ノード L2 SW 測定 IF ・ 仮想NW上の測定地点を指定 ・ 測定したい日時を選択 ・ 測定結果を表示・閲覧 Developer 図 5 ネットワーク仮想化基盤管理システムと NW Monitoring Manager の連携
下する。すなわちパケット損失や他のスライスのジッ タ増加が発生しやすくなる。 上記の基本機能の課題は 3 つあった。第 1 の課題は WFQ に基づくリソースアイソレーションをより多く のスライスに提供するとともに、1 個の仮想ノードに 接続された仮想リンクについては総計で帯域が制御さ れていたリソースアイソレーション機能[4]を、仮想リ ンク単位で制御するように改善してより精密な制御を 実現することだった。その実現のためリダイレクタの 内蔵スイッチに階層化シェーパとよばれるハードウェ アを搭載し、その機能を利用してスケーラブルで精密 なリソースアイソレーション機能を提供できるように した（図 6）。第 2 の課題はリダイレクタにおけるリソー スアイソレーション機能が VNode の他の部分（特に プログラマ）や仮想化基盤の他の要素である AGW や トランスポートネットワークと連携していなかったた めに困難だった端点間の干渉をなくすことである。解 決のためプログラマ–リダイレクタ間でのリソース管 理の連携を実現するとともに、ネットワーク仮想化 基盤管理システムにてリダイレクタ –AGW 間やトラ ンスポートネットワークの資源管理を行うことによ り、課題解決を達成した。第 3 の課題は VNode 同士 の連携である。この課題解決は 3.4.2 において記述す る「プラグインアーキテクチャ」の使用によって解決 への一歩を踏み出した。すなわちスライス上の機能に は影響を与えずにネットワーク仮想化基盤におけるパ ケットの遅延を計測する実験を成功させた[5]。これは、 限られた目的ではあるがネットワーク仮想化基盤の全 VNode がリソース制御のために連携できるようにし たことを意味している。 3.4 プログラム性拡張（プログラム可能性） 3.4.1 プログラム性とパフォーマンスの両立 VNode を構成するコンポーネントの 1 つであるプ ログラマは、ネットワーク処理におけるプログラマビ リティとパフォーマンスの両立を実現することを目的 としている。 この実現のために、プログラマでは、汎用サーバ上 の仮想マシンによる柔軟なプログラミング環境を提供 するスローパスと、ネットワークプロセッサによる高 いパケット転送性能を有するプログラミング環境を提 供するファストパスの 2 種類の機構を準備することで、 多様なネットワーク機能の実現への対応を行った。さ らにスローパスに関しては、高い計算性能に対する ネットワーク I/O 性能のギャップに起因するパフォー マンス上の課題解決を行った[6]。 プログラマの構成を図 7 に示す。 リダイレクタ内のL3 スイッチ 階層化シェーパ 広帯域シェーパ 広帯域WFQ* (帯域制御 キュー) 非優先キュー スケーラブルで精密なリ ソースアイソレーションつ きのスライス(シェーピング によるアイソレーション) 安価なリソースアイソレー ションつきのスライス(ポリシ ングによるアイソレーション) 帯域制限のないスライス (ベストエフォートのスライス) 高性能保証スライス WFQ* (帯域制御 キュー) 高性能保証スライス 高性能スライス 高性能保証スライス 低コスト保証スライス 高性能保証スライス 低コスト非保証… スライス 低コスト非保証スライス 低コスト非保証スライス … 低コスト保証スライス 低コスト保証スライス … … 仮想リンク単位の保証 スライス単位の保証 *Weighted fair queuing 図 6 リダイレクタのリソースアイソレーション機能 図 7 プログラマの構成 プ ロ グ ラ マ 制 御 部 Slow‐Path処理部 VM #0 VM#1 VM#n vSwitch vSwitch OpenFlow Switch Fast‐Path処理部 Core #0 Core#1 Core#n MUX/DMX MUX/DMX Format 変換部 プログラマ Redirector
スローパスは、仮想マシン（VM）による柔軟なプロ グラミング環境と、後述する性能向上の実現による高 速なネットワーク I/O 環境を提供する。一方ファス トパスは、ネットワークプロセッサによる高いパケッ ト転送性能を有するプログラミング環境を提供する。 装置内の計算機資源の接続には OpenFlow Switch[7] を用いることで、各種計算機資源を自由に組み合わせ 可能なネットワークノードを構築することができる。 Format 変換部は、リダイレクタとプログラマ間のパ ケットフォーマット（MAC-in-MAC と VLAN フォー マット）の変換を行う。 ス ロ ー パ ス に 対 し て は、 図 8 に 示 す よ う に ① vSwitch オフロード技術の適用、②ハードウェアの 10 GbE 化により、ネットワーク I/O 性能の向上を 実現した。図 9 に、上述の①と②の対応を行ったス ローパスの性能評価結果を示す。onload が対応前の、 offload が対応後の結果である。CPU Load の SUM は ゲスト OS の CPU 使用率の合計で、HOST はホスト OS のみのものである。この図より、スループット性 能が向上し、かつホスト OS の CPU 使用率も低下し ていることが分かる。 3.4.2 プラグインによるプログラム性拡張 プラグインによるプログラム性拡張の研究開発に は 2 つの目的がある。第 1 の目的はソフトウェアの追 加により VNode を進化させられる（機能拡張できる） ようにすることである[8]。VNode においてはあらかじ め決められた種類の仮想ノードと仮想リンクとが使用 できる。仮想ノードとしては前述したようにスロー パスとファストパスという 2 種類（2 つの型）、仮想リ ンクとしては Generic Routing Encapsulation over IP （GRE/IP） に基づく 1 種類（1 つの型）が使用できる。 スローパスは自由にプログラムできるが、目的によっ ては他の種類の仮想ノードや仮想リンクを導入してプ ログラム性を拡張することが必要になる。このような 場合に VNode のインフラストラクチャを拡張して新 たな型の仮想ノードや仮想リンクが組み込めるように することが目的である。第 2 の目的はインフラストラ クチャの機能拡張にあたってそのプログラミングを容 易にするための方法を開発することである。すなわち VNode にネットワークプロセッサ等の特殊化された ハードウェアを追加することによって機能拡張すると き、開発者にとってそのプログラミングの困難さが機 能拡張の障害となりうるが、この問題を解決すること が目的である。 これらの目的を達成するために次の 3 項目を試作し た（図 10）。第 1 はオープンなファストパス処理基盤 の言語と開発環境の試作である[9]。この試作は第 2 の 目的にかかわり、従来は高級言語によってプログラム することが困難だったネットワークプロセッサ等の特 殊なハードウェアのために容易に高性能なプログラム を記述することができる言語 Phonepl とその開発環 境を部分的に開発した。第 2 はファストパス処理機能 の VNode への組み込み機構の試作である[8]。この試 作は第 1 の目的にかかわり、第 1 の試作項目である ファストパス処理基盤を使用して開発したファストパ スモジュールや他の種類のファストパスモジュールを 図 8 SlowPath の性能改善 VM vSwitch VM vSwitch Server+ Virtualization ノード内NW制御サーバ (ノード内スイッチの統合管理) Interconnect Switch HW Offload HW Offload 情報格納DB Redirector プログラマ Slow-Path VM VM 10GbE化① ③ プログラマ管理 オフロード 判定制御 VM Driver Program NIC 振り分け/ 多重制御 SR‐IOV Offload Onload vSwitch ② Fast‐Path （NPU) 図 9 SlowPath 性能（受信時）向上結果 1683 763 802 7643 9268 9327 9255.8 2918 2137 1271 9281 9195 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000 1 2 4VM数 8 16 64 Throughput [M bps] 0 20 40 60 80 100 CPU Load [%] Throughput (onload) Throughput (offload) CPU Load HOST (onload) CPU Load HOST (offload) CPU Load SUM (onload) CPU Load SUM (offload)
図 10 プラグインによるプログラム性拡張機能の試作内容 VNode 制御プラグイン I/F (CPII) データ・プラグイン I/F (DPII) プラグイン 拡張VNode 制御プレーン要素 (リダイレクタ管理等) データ・プラグイン (パケット処理) データ・プレーン要素 (リダイレクタ本体等) C プレーン D プレーン 制御プラグイン プラグイン 間I/F オープンなファストパス 処理基盤 (プラグイン開発環境) Phonepl (プラグイ ン記述用高級言語) インフラ 開発者 スライス開発者 ファストパス 処理機能 組み込み 新仮想リンク型， 新仮想ノード型
VNode に組み込むこと、つまり実行環境の構築を可 能にした。第 3 はスイッチ／ルータ機能オフロード機 能の VNode への組み込み機構の試作である[10]。この 試作も第 1 の目的にかかわり、VNode 特にその一部 であるリダイレクタが持ちながら開発者からすなわち スライス上からは利用できない機能をモジュール化し て開発者に提供することを可能にした。 3.5 エッジ仮想化技術 ネットワークアクセス のプログラム技術 エッジ仮想化技術においては、コアネットワークか らエッジ・ネットワークまでスライスを広げ、ネット ワーク構造における最適な場所でのネットワーク新機 能の実装を可能とすることで、より効率の良いネット ワークサービスの展開と、アプリケーションに特化し たネットワーク機能の提供を目指している。この目的 のため、本節では移動通信端末のような特性の異なる 複数のネットワークを持つ端末を対象として、特性の 異なるアクセスネットワークに対する接続を動的に切 り替え、かつ、その切り替えをネットワーク側から制 御することで、VNode 上で展開されるサービスと連 携可能な端末ネットワークアクセス動的制御基盤の研 究開発について記す[11]。 今回実現した端末ネットワークアクセス動的制御基 盤を図 11 に示す。
Edge Node は Edge SNC からのポリシ指示に基づ き、アプリケーションごとに通信可能なスライスを分 離し、スライスごとにアクセスネットワークとしてい ずれの種類の無線ネットワークを利用するかを制御可 能である。今回 Edge Node は、android 端末上に実 装した。
Edge Gateway は、エッジ・ネットワークスライス とコアネットワークスライスとの通信を中継するゲー
トウェイ装置である。コアエリア上のゲートウェイ装 置である AGW に接続し、VNode 上の Node Sliver と Edge Node 上のアプリケーションとの通信を中継す る。Edge SNC は、エッジ・ネットワークスライスの 生成・削除・設定、VNode 上のコアネットワークス ライスとの結合の実行指示、Edge Node の認証を行う。 さらに Edge SNC は、VNode の統合管理装置である SNC と通信し、エッジ・ネットワークスライスとコ アネットワークスライスとの接続に必要な情報をやり 取りする。 これらの機構により、Edge Node 上のアプリケー ション単位で、任意のアクセスネットワークを用いて、 エッジ・ネットワークスライスとコアネットワークス ライスを結合したスライスへの収容を実現した。 3.6 ゲートウェイ機能強化（認証性） ネットワーク仮想化基盤上のスライスを利用する際 には、実ネットワークも含めた end-to-end の接続性 が必要である。さらに本仮想化基盤の特長上、独自も 含めた様々なプロトコルで接続可能であることが求め られる。この接続性を提供する装置がゲートウェイ （AGW: Access Gateway）である（図 12）。AGW はス ライスのエッジに設置され、以下の特徴を有する装置 である。 Connectivity: 物理端末／ネットワークとスライ スとを接続する仮想網振分機能 Security: 物理端末接続時に IPSec を用いた認証 機能を提供 Programmability:
GW 機 能 部 Packet processing middleware （PPM）のプログラマブルなプロトコルスタッ クにより、多種のプロトコルに対応したカスタ マイズが可能
AGW
R
SNC
Wireless NW
Core Area
Edge
Node
Edge
Node
Edge Area
VNodeシステム
端末ネットワークアクセス
動的制御基盤
Edge
Gateway
Edge
SNC
コアネットワーク：
JGN‐X
エッジネットワーク
図 11 端末ネットワークアクセス制御基盤 プログラマブル仮想ノード （Node Sliver VM） の提供により、スライスの入り口（エッジ）で 任意の通信処理アプリが動作可能 Performance: GW 機能部 PPM により、汎用 IA サーバで高い中継処理性能を提供 図 13 にはゲートウェイ装置の内部アーキテクチャ と内部通信形態を示す。ゲートウェイは、スライスの エッジ部分に設置される装置であり、既存 VNode の 様な大型の装置ではなく、小型・安価な装置とする必 要がある。このため、ゲートウェイの最小基本構成を、 IA サーバ 1 筐体で全ての機能（既存ゲートウェイ機 能とプログラマビリティ機能）を提供することとしつ つ、必要に応じて装置を追加することでプログラマビ リティ機能部に関してスケール可能とすることをター ゲットとした。これを踏まえたゲートウェイは大きく 以下の 3 つのコンポーネントから構成される。 マネージャ部 : SNC/VNM と XML-RPC の制御 メッセージ通信を行い、中継部とプログラマ部に 対して通信設定・解除、状態問い合わせなどを行う。 プログラマブルノード管理・実行部 : Developer が開発したプログラム（SlowPath-VM）を実行し、 転送フレームに対するプログラマビリティ（フ レームの判別・変換・加工等）を提供する。 GW 機能部 : 利用者端末（UT）と VNode 間でユー ザフレームの送受信を行い、実ネットワークとス ライス間のフレーム転送及びフォーマット変換を 行う。PPM 機能が提供する Zero Copy I/O、マ ルチコア CPU 活用並列処理により高速な中継処 理を実現。 本ゲートウェイ装置の中継処理性能を表 1 に示す。
テストベッド展開と国際相互接続
研 究 開 発 を 行 っ た ネ ッ ト ワ ー ク 仮 想 化 基 盤 を JGN-X テストベッドへ展開し、アプリケーション実 験利用者に提供した。図 14 に示すように、仮想化ノー ド（VNode）を全国に 7 台、小型仮想化ノード（NC）を 2 台、アクセスゲートウェイ（AGW）を 6 台配備した。 1 か月あたり 40 スライス程度の利用実績がある。 また、NICT により米国ユタ大学に設置された小型 仮想化ノード（NC）1 台を介して JGN-X 上に構築した ネットワーク仮想化テストベッドと、北米のネット ワーク仮想化テストベッド GENI、欧州のネットワー ク仮想化テストベッド Fed4 FIRE との相互接続実験 を行い、グローバルなマルチドメイン環境でのスライ ス構築を実証した。図 15 に相互接続実験の構成を示 す。各ネットワーク仮想化テストベッドはユタ大学の 小型仮想化ノード内に設置した SEP（Slice Exchange4
継部
エッジアプリ実⾏部
Slice A Slice B Slice C 認証 機能 仮想網 振分 機能 ログラマブル Protocol Stacks Public Networ LAN Mobile AccessAGW
物理 ネットワーク ネットワーク(仮想) SliceNode Sliver Node Sliver Node Sliver エッジ アプリ エッジアプリ エッジアプリ 図 12 ゲートウェイの位置づけと提供機能 GW機能部 on PPM プログラマブルノード 管理・実⾏部 仮想網識別／ プロトコル変換 フロー単位 振分 (Core#1) AGW 利⽤者 端末 VNode隣接 NIC (Core#2) (Core#3) NIC NIC プログラマ部 運⽤管理 NIC マネージャ部 GW運⽤管理 フロー単位 振分 (Core#n) NIC SNC/VNM 開発者端末(DT)／IS OVS Node Sliver (VM) Zer oc op y I/ O Zer oc op y I/ O 図 13 ゲートウェイアーキテクチャ
IPSec 転送性能 VLAN 転送性能 Node SliverSlowPath 1.3 Gbps*1 4.7 Gbps*1 1.5 Gbps*2 * 1. 1372 bytes frame, Intel Xeon X5690 （3.46 GHz/6 コア） ×
2 個
* 2. Intel Xeon X5690 （3.46 GHz/6 コア）を用いて VM に仮想
CPUx2, メモリ 2 GB, vhostnat 処理に 4 コアを割当
Point）を介して接続される。SEP では、それぞれのネッ トワーク仮想化テストベッドのインタフェースを共通 API として抽象化することにより、それぞれの実現 方式の差を吸収している。
むすび
我々が研究開発を進めてきた統合管理型ネットワー ク仮想化基盤は現在の情報通信の多くの課題を解決で きる可能性を持っている。今後はテストベッド上での 利用実験を通して、新世代の情報通信基盤としての評 価を行う予定である。謝辞
本研究の成果は NICT 委託研究「新世代ネットワー クを支えるネットワーク仮想化基盤技術の研究開発」 によるものである。 【参考文献】 1 中尾 彰宏 , “VNode: A Deeply Programmable Network Testbed Through Network Virtualization,” 第 3 回 NV 研究会 , Mar. 2, 20122 Yohei Katayama, Kazuhisa Yamada, Katsuhiro Shimano, and Akihiro Nakao, “Hierarchical Resource Management System on Network Virtualization Platform for Reduction of Virtual Network Embedding Calculation, ” APNOMS2013, P2–1, 2013
3 桑原世輝、片山陽平、山田一久“仮想ネットワークに適応するトラヒッ クモニタリングシステムの提案、”2013 電子情報通信学会総合大会 B-7-4、 2013
4 Kanada, Y., Shiraishi, K., and Nakao, A., “Network-resource Isolation for
5
福岡 仙台 NICT Koganei USA 国際回線 100G 10G 0G 100G 10G 1G DF 凡例 10G 10G 10G 1G 名古屋 北陸AGW AGW AGW AGW AGW AGW NTT 横須賀 東京都内 NICT 大手町 NICT 白山 VN VN VN NC NC VN NC AccessGateway VNode Network Connector VN VN VN AGW VN UTNC ユタ大学 NICT 小金井 0 10 20 30 40 50 60 ：スライス数 ：ユーザ数 スライスＡ スライスB 図 14 ネットワーク仮想化基盤の JGN-X 展開 GK GW 変換 GK GW ProtoGENI テストベッド テストベッド 相互接続された ネットワーク仮想化テストベッド 仮想化ノード（米国ユタ大設置） データ
SEP（Slice Exchange Point)
仮想化ノードAPI GK (Gate Keeper) ： 制御信号用インタフェース変換機能 GW ( Gate Way) ： コンテンツ・データ用インタフェース変換機能 抽象化 Common API 2.0 制御信号 制御信号 Fed4FIRE API ProtoGENI API 図 15 日米欧相互接続構成
Virtualization Nodes,” IEICE Trans. Commun., Vol.E96-B, No.1, pp.20–30, 2013, DOI: 10.1587/transcom.e96.b.20.
5 Kanada, Y., “Extending Network-virtualization Platforms by using a Specialized Packet Header and Node Plug-ins,” 22nd International Conference on Software, Telecommunications and Computer Networks （SoftCom 2014）, Sept. 2014, DOI: 10.1109/softcom.2014.7039092. 6 神谷聡史 他、“進化型ネットワーク仮想化基盤を実現するネットワー
ク処理計算ノードの提案、”第 3 回ネットワーク仮想化時限研究会、 March. 2, 2012
7 [OpenFlow] OpenFlow Switch Consortium, OpenFlow Switch Specification, version 1.0.0, Dec, 2009.
8 Kanada, Y., “A Method for Evolving Networks by Introducing New Virtual Node/link Types using Node Plug-ins,” 1st IEEE/IFIP International Workshop on SDN Management and Orchestration （SDNMO’14）, May 2014, DOI: 10.1109/noms.2014.6838417.
9 Kanada, Y., “High-Level Portable Programming Language for Optimized Memory Use of Network Processors,” Communications and Network, Vol.7 No.1, 2015, DOI: 10.4236/cn.2015.71006.
10 Kanada, Y., “Providing Infrastructure Functions for Virtual Networks by Applying Node Plug-in Architecture,” Workshop on Software Defined Networks for a New Generation of Applications and Services （SDN-NGAS 2014）, August 2014 & Procedia Computer Science, Vol.34, pp.661–667, 2014, DOI: 10.1016/j.procs.2014.07.094. 11 飯星貴裕 他、“仮想化ノードにおける容易なネットワークサービス実験 のためのスマートデバイスへのスライス延伸、”第 9 回ネットワーク仮想 化時限研究会、April 11, 2014 山田一久 （やまだ かずひさ） NTT 未来ねっと研究所メディアイノベーション 研究部将来ネットワーキング技術研究グループ 主任研究員 ネットワーク 中尾彰宏 （なかお あきひろ） 東京大学大学院情報学環教授 Ph.D. ネットワーク、コンピュータサイエンス 金田 泰 （かなだ やすし） 日立製作所情報通信イノベーションセンタ ネットワーク研究部主任研究員 Ph.D ネットワーク、コンピュータビジョン 才田好則 （さいだ よしのり） NEC SI・サービス技術本部技術戦略部エキス パート ネットワーク 雨宮宏一郎 （あめみや こういちろう） 株式会社富士通研究所ソフトウェア研究所 分散システムソフトウェア PJ クラウド、ネットワーク
