多様なサービスを支えるSINET3の詳細ネットワーク設計

(1)

Detailed Network Design of SINET3 for Advanced Network Services

Shigeo URUSHIDANI

†a)

, Jun MATSUKATA

†

, Shunji ABE

†

, Yusheng JI

†

,

Kensuke FUKUDA

†

, Michihiro KOIBUCHI

†

, Motonori NAKAMURA

†

,

and Shigeki YAMADA

†

あらまし本論文では，学術研究や教育活動を多様なサービスの提供により支援する新学術情報ネットワーク（SINET3）の詳細設計に関して明らかにする．筆者らは，これまでに SINET3 のための基本ネットワークアーキテクチャの提案を行ってきたが，これを実機による実ネットワークに適用するためには，最新技術のより詳細な適用手法・連携手法の明確化，各種パラメータの設定，運用上の工夫を行う必要があった．本論文では，マルチレイヤ，マルチVPN，マルチ QoS，帯域オンデマンド等の各種サービスを統合ネットワーク上で柔軟に収容し，かつ安定した品質を提供するための詳細ネットワーキング手法を明らかにする．また，詳細設計内容を適用した実機による品質制御並びに高信頼化制御に関する検証結果を示し，本ネットワーキング手法が正常かつ高性能に動作することを示す．キーワードマルチレイヤ，VPN，QoS，帯域オンデマンド，MPLS

1. まえがき

インターネットが社会生活の基盤として定着してきた現在，いわゆるベストエフォートサービスを超える次世代のサービス提供に向けて，研究開発が活発化している．キャリヤ系ネットワークは，IPのQoS制御技術を核とする次世代ネットワーク（NGN）[1]に注力しており，学術系ネットワークは，サーキット系サービスとパケット系サービスの両方を提供するハイブリッドネットワーク[2], [3]に注力している．一方，日本の学術情報ネットワークも，全国700機関以上のインターネットバックボーンに成長するとともに，先端研究，高度教育，組織間連携のために，より多様で先端的なネットワークサービスが求められ，上記の動向を考慮して基盤を見直す必要があった．新しい学術情報ネットワーク（SINET3）のあり方は，学術情報ネットワーク運営・連携本部会議[4]などの場 †_{国立情報学研究所，東京都}

National Institute of Informatics, 2–1–2 Hitotsubashi, Chiyoda-ku, Tokyo, 101–8430 Japan

a) E-mail: [email protected] で活発に議論され，これを受けて具体的な実現手法を NII内部で検討してきた．しかし，サービスの多様性，需要変動への柔軟性，高信頼性，経済性を同時に満足というコンセプトを実現するには，従来のNGNやハイブリッドネットワークの技術だけでは解決できない数々の技術的課題があった．筆者らは，このための基本的なネットワークのアーキテクチャを提案してきたが[5]，実際のネットワーク構築に際して，実機（IP ルータ，次世代SDH/SONET装置（以下，L1スイッチと呼ぶ））を考慮した最新技術のより詳細な適用手法・連携手法の明確化，各種パラメータの設定，運用上の工夫を行う必要があった．本論文では，ネットワークに求められる先端的な要求条件並びにネットワーク構成条件を再整理した後， SINET3の詳細なネットワーキング手法を明らかにする．また，実ネットワーク環境を模擬した実機による検証結果を示し，本ネットワーキング手法の正常動作性と高性能性を明らかにする．

2. ネットワーク要求条件

研究教育機関のバックボーンである学術情報ネット

(2)

ワークは，幅広い分野の活動を安定かつ経済的に支援するために，サービスの多様化・高度化，サービスの柔軟な収容と経済性，安定的運用と高信頼性が求められる．これらの具体的な要求条件を以下に示す． 2. 1 サービスの多様化・高度化様々な研究教育分野を支援するために，多面的なサービス提供を目指した．ユーザからの要望を分析した結果，以下の点を強化することした． 2. 1. 1 マルチレイヤサービスユーザは学術情報ネットワークを従来のIPバックボーンとしてだけではなく，広域イーサネットネットワーク，更には，専用線ネットワークとして利用することを望んでいた．そこで，転送レイヤを自由に選択可能にするため，同一ネットワーク上でマルチレイヤ（IP，イーサネット，専用線）サービスを提供することとした．また，IPサービス高度化の要望にこたえて，

IPv4に加えNative IPv6，マルチキャスト，IPv4フルルート情報提供等のサービスを提供することとした．

2. 1. 2 マルチVPNサービス

研究組織間連携や共同研究の支援のために，共通バックボーン上で連携・共同研究用の閉域網を形成するVPN（Virtual Private Network）機能の充実が求められていた．従来はIP系VPNサービス（L3VPN）のみを提供してきたが，ユーザからの要望に基づき，イーサネット系VPN（L2VPN，VPLS）やL1系VPN （L1VPN）サービスも提供することとした．例えば，核融合科学研究所では，大型ヘリカル装置等への各研究機関からのアクセスをIPベースで制限するためにL3VPNを[7]，地震研究所では，各地域の地震観測データを関連機関にブロードキャストするために VPLSを[8]，国立天文台では，地理的に離れた複数の電波望遠鏡からの超大容量データの相関をとるために L1VPNを用いている[9]． 2. 1. 3 マルチQoSサービス転送性能に敏感なアプリケーション，例えば，遠隔講義や遠隔医療のための高精細映像転送[10], [11]などのために，通信品質を保証するサービスを求める声が多かった．特に，学術情報ネットワークの通信トラヒックは年に1.5∼2倍と伸びている一方，回線帯域はあまり増加していないことから，QoS機能の必要性は従来に比べ増していた．QoSサービスを提供するにあたっては，アプリケーションによって求められる品質が異なるため，複数転送キューを用いて優先制御を行うパケット系のサービスに加え，将来の革新的アプリケーションの登場を期待して，完全に通信品質を保証するサーキット系のQoSサービスをも提供することとした． 2. 1. 4 帯域オンデマンドサービス学術系アプリケーションの中には，eVLBI [9]や無圧縮HDTV映像[12]のように，指定された時間だけ，超大容量のデータを同一の転送レートで転送し続けるものがある．これらに必要な帯域は大きく（eVLBIは 2 Gbit/s以上，無圧縮高精細映像は約1.5 Gbit/s），他のサービスの通信品質への影響を避ける必要もあった．そこで，オンデマンドでエンドツーエンドに帯域を指定したサーキットを設定するサービスを提供することにした．現時点では，上記のアプリケーションに加えて，遠隔データバックアップや新コミュニケーションシステムの研究開発などに利用されている． 2. 1. 5 ネットワーク情報提供サービスネットワーク状況を可視化し，ユーザにとってより使いやすい環境を整備するために，遅延時間やトラヒック流量等のネットワーク情報を提供するサービスを展開することとした．本論文では，このサービスに関しては対象外とする． 2. 2 サービスの柔軟な収容と経済性サービスの需要は予測不可能であるため，その変動に対して極力柔軟に対応する必要がある．IP系トラヒックの増加傾向はある程度予測可能である一方，イーサネット系やL1系のサービスの需要は不透明である．また，厳しい財政状況を考慮すると，欧米の学術ネットワークのように，パケット系とサーキット系を別々の回線で提供することは許容されない．したがって，すべてのサービスを一つの回線上に収容し，かつ柔軟にリソースを割り当てる必要がある． 2. 3 安定的運用と高信頼性 700以上の加入機関を収容し，推定200万人以上のユーザを抱えるネットワークであることから，多様で高度なサービスを提供しながらも運用の安定性と高信頼化が強く求められる．特に，マルチレイヤや大容量経路情報保持（IPv4フルルート情報保持等）を考慮した安定的運用と高信頼化が必要である．

3. ネットワーク構成

SINET3では，前ネットワークでの信頼性に関する課題，安定した移行，経済性等を考慮して，ネットワーク構成を見直している．前ネットワークは，3階層（SINET拠点，スーパ

(3)

図 1 SINET3の階層構成 Fig. 1 Hierarchical structure of SINET3.

SINET拠点，バックボーン拠点）にノード（IPルータ）を配備し（図1左），SINET拠点とスーパSINET 拠点を加入機関に設置した．SINET拠点やスーパ SINET拠点以外の加入機関は，最も近い拠点までの回線を加入機関側で費用分担し接続する．回線は，バックボーン拠点（東京，名古屋，大阪の3拠点）のみがループ状に冗長化され，それ以外はスター状の接続であった．ここで，加入機関では，通例年に1回以上の計画停電に加えノード設置室への夜間・休日の入室制限などがあり，特に中継拠点的位置付けをもつスーパ SINET拠点での本制限は，ネットワークの信頼性・保守性の面から課題であった．また，すべての拠点に高性能IPルータを配備したため，経済的な高速化に限界があった．そこで，SINET3では，加入機関を収容するエッジ拠点（63拠点）と中継的な機能をもつコア拠点（12 拠点）の2階層構成とし，コア拠点は，計画停電や入館時間に制限のない民営のデータセンターに設置した（図1右）．エッジ拠点は，加入機関が負担する回線の終端点を極力避け，従来と同じ拠点（旧SINET・スーパSINET拠点）に設置している．大幅に機能アップされる新しいネットワークへの移行収容を安定的に行うためにもユーザ回線の終端位置は同じとした．ここで，コア拠点へのユーザ回線収容についても，調達ごとに位置が変わる可能性があるという条件付きで可能としている．ノードに関しては，経済性を考慮して，エッジノードはIPルータを配備せずエッジL1スイッチ+L2多重機能で，コアノードは大容量IPルータとコアL1スイッチで構成した（詳細は4.）．回線に関しては，エッジ拠点–コア拠点間はスター状，コア拠点間は西，中央，東の複数のループ構成として全国面での冗長構成をとった（図2）．回線速度は，エッジ拠点–コア拠点間は1∼20 Gbit/s，コア拠点間は10∼ 図 2 SINET3のネットワーク構成

Fig. 2 Network topology of SINET3.

40 Gbit/sとし，10 Gbit/sを超える区間はSTM64のマルチリンクあるいはSTM256（40 Gbit/s）で構成した．

4. 詳細ネットワーク設計

本章では，前述のサービス条件とネットワーク条件を考慮し，各種サービスを柔軟に収容し，かつ安定した品質を提供するための詳細ネットワーキング手法に関して説明する． 4. 1 マルチレイヤサービス収容方式マルチレイヤサービス収容方式を図3に示す．エッジノードは，L3（IP）及びL2（イーサネット）のトラヒックをイーサネット系インタフェースで収容し， SINET3内部で用いるVLANタグを付与してL2多重する．L2多重されたL2/L3トラヒックは，L1スイッチのGFP（Generic Framing Procedure）機能[13]

によりGFPフレーム化され，中継回線（STM64/16）のL2/L3用パス（帯域はVC-4（149.76 Mbit/s）[14] の整数倍）に収容される．このGFPフレームはコア L1スイッチでイーサネットフレームに戻され，対向の IPルータに転送される．IPルータでは，L2多重されたIPパケットとイーサネットフレームを内部VLAN タグにより識別し，IPパケットはVLANタグを削除してIPパケットのまま，あるいはL3VPNの場合は

MPLS（Multi-Protocol Label Switching）ラベルを付与して転送する．また，イーサネットフレームは MPLSラベルを付与して転送する．その後，IPルータ間では，L2/L3トラヒックはIP/MPLSトラヒックとして転送される．一方，L1サービスは，イーサネット系あるいはSDH系インタフェースを用いて，エッジL1スイッチ間で個別のL1パスを設定して，L2/L3 及びIP/MPLSトラヒックとは帯域を分離した形で回

(4)

図 3 マルチレイヤサービス収容方式 Fig. 3 Accommodation of multi-layer services.

線に収容する．

ここで，マルチレイヤサービスのトラヒックを需要に応じて柔軟に収容するために，L2/L3及びIP/MPLS

トラヒック用のパスの帯域をLCAS（Link Capacity Adjustment Scheme）[15]を用いて，VC-4単位で無瞬断に変更する．この際，トラヒックを設定されたパス帯域に収容するために，IPルータとL1スイッチ間（エッジL1スイッチとL2多重間も同様）では， IEEE802.3xのフロー制御機能を用いて帯域を制御する．L1スイッチはIPルータとの接続インタフェース（10 GE）に対してバースト性吸収のためのバッファをもち，この空きが少なくなった場合にPAUSEフレームを送り，IPルータからの送信を停止させてパケットロスを防止する．L1スイッチは，バッファに十分な空

きができた段階でpause time = 0のPAUSEフレー

ムを送り，これを受けてIPルータはデータ送信を再

開する．この一連の動作は，IPルータのQoS制御機

能と連携して正常動作することを確認している（5. 1

参照）

4. 2 マルチVPNサービス収容方式

SINET3では，IPv4とIPv6を混在収容するために，IPv4/IPv6 dual stackモードでネットワークを運用する．IPv4/IPv6サービスでは，IPルータ間で OSPFv2/v3とBGP4/4+を用い，ユーザとはstatic かeBGP，ピアネットワークとはeBGPで接続する． IPv4ではフルルート情報提供のために，各IPルータが大容量の経路情報を保持する．このIPv4/IPv6サービスに加えて，VPNサービスとして，L3VPN [16]， L2VPN [17]，VPLS [18]，更にはL1VPN [19]を提供する．L3VPNはIPルータ間でNWラベルやVPN番号を表すMPLSラベルの取得のためにRSVP-TEと

iBGPを用い，ユーザとはeBGPやRIPで接続する．また，L2VPNやVPLSもNWラベルやVC番号を表すMPLSラベルの取得のためにRSVP-TEとiBGP を用い，VPLSは更にMACアドレスの学習が必要である．一方，L1VPNはパス制御のためにGMPLSプロトコル（OSPF-TE，RSVP-TE）[20], [21]が必要である．このように，各サービスで用いるプロトコルが異なり，運用上考慮すべき点も異なるため，同一ネットワーク上に統合収容する際に，運用管理上の独立性を高める工夫が必要であった．このため，SINET3では， 1台の物理的なIPルータ上にサービスごとの論理的なルータ（以下，論理ルータと呼ぶ）を複数設定して，これらの論理ルータによりサービス論理網を複数構成した．また，L1サービスのためのGMPLS用に，独立の制御プレーンを構築した．全体の VPN 収容方式を図 4 に示す．L3VPN， L2VPN，VPLS及びIPv4/IPv6トラヒックは，ユーザ側ではポート分離あるいはVLAN分離により収容し，SINET3側では内部VLANタグを付与し（ユーザVLANタグはSINET3の内部VLANタグに変換

し）論理的に分離して収容する．IPルータでは，各サービストラヒックを内部VLANタグにより識別して，サービスごとの論理ルータに分配する．各論理ルータでは，各サービスに必要なプロトコルを交換し，必要に応じて各パケットへのMPLSラベルの付与等を行う．同一サービスの論理ルータ間は，ネットワーク内でサービスごとのVLANを設定して，他サービスとは論理的に分離して接続される．一方，L1VPN では，L1パスは他のサービスと同じ回線上を通るが，制御プロトコル転送・処理は完全に独立・分離して行

(5)

図 4 マルチ VPN サービス収容方式 Fig. 4 Accommodation of multiple VPN services.

図 5 各サービス収容時のヘッダ構成

Fig. 5 Header compositions for packet services.

われる．ネットワーク内で用いるイーサネットヘッダと MPLSヘッダの関係を明確にするために，図5に， IPv4/IPv6，L3VPN，L2VPN，VPLS用のヘッダ構造を示す．VPN系サービスに関しては，高信頼化のためにFRR（Fast Reroute）[22]を用いるので，障害時にはFRR用のMPLSラベルがもう一つ追加される（4. 5. 1参照）． 4. 3 マルチQoSサービス収容方式 SINET3では，パケット系QoSサービス（フロー， VPN，ポート単位）とサーキット系QoSサービス（ポート単位）の両方を提供する．後者は4. 4と関係するので，本節では，パケット系のQoSサービスについて述べる．パケット系のQoSサービスとして，四つの転送クラ

ス（EF：Expedited Forwarding，NC：Network Con-trol，AF：Assured Forwarding，BE：Best Eﬀort）と各転送クラス最大二つの廃棄クラス（低廃棄，高廃棄）を設けている[23]．EFクラスは，双方向遅延時間や遅延揺らぎに敏感なVoIP等のアプリケーション用に設けた．NCクラスは，ネットワーク制御パケット用で，二つの廃棄クラスを設け，OSPF，BGP，RIP， RSVP-TE，及びTRAP情報は低廃棄クラス，トラヒック情報等を取得するためのSNMPはデータ量を考慮して高廃棄クラスとした．AFクラスは，遅延時間やパケット損に敏感な映像系アプリケーションやミッションクリティカルなVPN用に設け，二つの廃棄クラスを設けた．BEクラスは，通常のユーザパケット

用に低廃棄クラス，less than best eﬀortサービスを考慮し高破棄クラスも設けた．

QoS制御のための全体の構成を図6に示す．IP及びイーサネットパケットにはL2多重時に内部VLANタグを付与するが，QoSクラスはそのUser Priorityビット（以降CoSビットと呼ぶ）にマーキングされる．IPサービスは，IPヘッダのsource/destination IP address，

protocol ID，DSCP，source/destination portをもとに，イーサネットサービスは，イーサネットヘッダの

source/destination MAC address，Ethernet type，

VLAN ID，User Priorityをもとにマーキング可能である．ここで，ユーザ側で付与したUser Priorityは SINET3側で上書きする．エッジノードでは，CoS値をもとに優先転送制御と廃棄制御が行われる． IPルータでは，QoS制御をIPパケットあるいは MPLSパケット単位で行うために，CoS値をIPヘッダのDSCP値あるいはMPLSヘッダのEXP値にマッピングする．DCSPとEXPによりクラス分けが行われ，L2多重時と同様の優先転送制御と廃棄制御が行われる．

QoS識別子（CoS，DSCP，EXP）に対する割当値を表1に示す．CoSとEXPは3ビット，DSCPは6

ビットであるため，CoSからDSCPへのマッピングは

IP precedenceベースとし下位3ビットを0とした．ここで，値の割当は，ルーチングプロトコルパケット

(6)

図 6 マルチ QoS サービス収容方式 Fig. 6 Accommodation of multiple QoS services.

表 1 CoS/DSCP/EXP値 Table 1 CoS/DSCP/EXP values.

のデフォルト値（110）と通常パケットのデフォルト

値（000）を考慮して決定した．

また，廃棄制御は，EFクラスはtail drop，NC，AF，

BEクラスはWRED（Weighted Random Early De-tection）で行う．WREDの最小/最大廃棄しきい値並びに最大廃棄率を，低廃棄クラスは85%/100%/10%，高廃棄クラスは60%/85%/10%とした（ベンダのデフォルト値）．これらのパラメータ値の変更は，L2多重機能部は無瞬断，IPルータは80µs以下の断を伴うが瞬時に変更可能であることを確認している． 4. 4 帯域オンデマンドサービス提供方式本サービスを提供するためには，図7に示すようなユーザからの予約要求を受け付けてL1パス制御を行うオンデマンドサーバの開発が必要になる[6]．ユーザは，オンデマンドサーバを通じて接続形態（L1VPN/Extranet/Public），発着ポート，開始・終了時刻（15分単位），帯域（VC-4単位），経路オプション（最小遅延経路指定/指定なし）が指定可能である．オンデマンドサーバは，ユーザからの予約要求受付後，リソースの空き状況や経路指定条件等を考慮してパスの経路計算や要求受付制御を行い，スケジューリングに応じて，発側のエッジL1スイッチにパス設定のトリガを出す．発側エッジL1スイッチは，GMPLSシグナリングプロトコル（RSVP-TE）により着側エッジL1スイッチに向けてパスを設定する．ここで，L1 パス設定時にL2/L3用パス及びIP/MPLS用パスの帯域変更が必要な場合には，LCASにより帯域を変更する．オンデマンドサーバの詳細は，今回のネットワークの設計とは独立であるので，本論文ではこの程度にとどめる． 4. 5 高信頼化・高安定化方式 SINET3では，マルチレイヤサービスを収容することから，各レイヤの高信頼化手法（プロテクション等）が適切に動作するための各レイヤ間での連携手法，並びにマルチリンク等を考慮したリソース使用方法を検討する必要がある．また，IPv4フルルート情報を提供するため，安定した経路情報の分配方式が必要である．本節ではこれらの手法を明確にする． 4. 5. 1 マルチレイヤでの高信頼化手法 SINET3では，トラヒックが集中するバックボーン区間では，図2に示すように複数のループ構成により冗長経路を確保しており，故障の検出により迂回が可能である．L1スイッチは，インタフェース故障や伝送路故障を高速に検出することが可能であり，故障を検出したL1スイッチは，IPルータ側に強制リンク断により通知を行う（図8）．IPルータはこのリンク断を受けて，IPv4/IPv6トラヒックに対してOSPFによる経路の再計算，VPNトラヒックに対してMPLSの

Fast Reroute/ Protectionにより他方路へ高速に迂回させる．L1サービスに対しては，ユーザごとのL1パスの迂回方法（GMPLS LSP Reroutingを想定）を検討中である．また，リンク断通知は，パラレルリンク利用時のリンク切換にも有効である．ここで，この

(7)

図 7 帯域オンデマンドサービス提供方式

Fig. 7 Architecture for L1 bandwidth-on-demand services.

図 8 高速故障検知と故障情報転送

Fig. 8 Fast fault detection and informing.

図 9 Fast Rerouteと Protection Fig. 9 Fast Reroute and Protection.

動作やVCAT構築時間等を考慮し，ガードタイムを設定している．キャリヤ側で無瞬断プロテクションを行っているSTM64回線区間は100 ms，プロテクションをL1スイッチ側で行う必要があるSTM256回線区間は，プロテクション後のVCAT再構成時間を考慮して1 sと設定した． VPNサービスの高信頼化に関してもう少し説明を加える．各IPルータ間では，迂回時の経路把握の容易性や工事時の一時的なパス切換等を考慮し，図9に図 10 リンクアグリゲーションとロードバランス

Fig. 10 Link aggregation and load balancing.

示すように，プライマリパスとセカンダリパスによる LSP Protectionを設定している．また，多重故障等を考慮して，Fast Reroute（FRR）機能も同時に用い，故障時には故障区間でFRR用のMPLSラベルをプッシュして迂回させるようにしている．単一故障時には，まずFRRでローカルにリカバリを行うと同時に，PathErrをLSPのIngress側に送ることにより，その後セカンダリパスへの切換を行う．故障が回復した場合には，故障回復から1時間後にパケットロスなしで自動的にプライマリパスに切り戻す設定とした．ここで，FRRやProtectionによる迂回は，論理ルータが大容量のテーブル情報を保持している場合でも，非常に早く動作することを確認している（5. 2参照）． 4. 5. 2 ロードバランシング手法 SINET3では，20 Gbit/s以上の区間はマルチリンクで構成しており，IPルータ間もマルチリンク接続となっている．40 Gbit/s回線区間においても，L1スイッチとIPルータとの接続が10 GEであるため，IP ルータ間は最大4本のマルチリンク接続となる．このため，IPルータ間では，図10に示すように，リンクアグリゲーションを行って一つの仮想リンクとして扱

(8)

うこととし，また，サービスごとに極力均等にロードバランスを行うため，より細かい単位での振り分けを行っている．具体的には，IPv4/IPv6は送信元・あて先IPアドレス+プロトコル番号+送信元・あて先ポート番号，L3VPNは3段階のMPLSラベル（VPN， NW，FRR）+送信元・あて先IPアドレス，L2VPN は3段階のMPLSラベル（VC，NW，FRR），VPLS は3段階のMPLSラベル（VC，NW，FRR）+送信元・あて先MACアドレスでロードバランスを行っている．また，マルチリンク利用時のパケット転送能力を最大限に高めるため，マルチリンクのIP/MPLS用パスの帯域を極力同じにする必要があり，このため，L1パスを設定する際には，VCAT技術を用いてマルチリンクから均等に帯域を確保する．例えば，1 Gbit/sのパスを設定する際には，VC-4-4v（約0.60 Gbit/s）を片側から，VC-4-3v（約0.45 Gbit/s）をもう一方から確保し，合わせてVC-4-7v（約1.05 Gbit/s）を確保する． 4. 5. 3 経路情報配布手法インターネット接続ユーザに対してフルルート情報を提供するため，安定的な経路情報配布手法が必要である．SINET3では，23万以上のルート情報を上位ISPのLevel3から入手しユーザに分配している． IPルータの経路情報処理負荷の軽減による安定したネットワークを実現するために，図11に示すように，

IPv4/IPv6 dual stack専用のルートリフレクタ（RR）

を導入した．東京及び大阪のIXへの安定的な経路制御も考慮してネットワークを東西でクラスタ化するとともに，各クラスタ内でRRの二重化を行った．フルルート情報はロサンゼルスとニューヨークのゲートウェイルータからRRへ送られ，各IPルータへと分配される．一方，L3VPN/L2VPN/VPLSに対しても図 11 IPv4/IPv6用ルートリフレクタの導入

Fig. 11 Introduction of route reﬂectors for IPv4/IPv6.

経路数増加時の安定性を考慮し，VPN専用のルートリフレクタを導入した．こちらは，クラスタ化は行わずに二重化のみを行った． 4. 6 方式的特徴のまとめ 4. 1から4. 5までに述べたネットワーキング手法に関して，他のネットワークと比較して特徴的な点を以下にまとめる．ただし，商用ネットワークの適用技術が詳細に公表されることはあまりないので，あくまでも筆者らの見解である．マルチレイヤサービス収容に関しては，LCAS機能を実網に適用し安定運用を実現したのは世界で初めてである．また，L1スイッチのVCAT機能，IPルータのロードバランスとQoS機能，L1スイッチとIP ルータ間のフロー制御等を適切に組み合わせてマルチリンクにも適用できる収容方法を実現した点にも特徴がある．マルチVPNサービス収容に関しては，論理ルータを用いた複数のサービス論理網をこの規模で実運用させたのは世界で初めてである．マルチQoSに関しては，IP系とイーサネット系

の両サービスに対してQoS識別子（User Priority，

DSCP，EXP）を適切にマッピングさせて安定的に QoS制御を実現した点が特徴である．帯域オンデマンドサービスに関しては，2008年2 月1日の北海道大学と国立情報学研究所間でのデモを皮切りに，世界で初めてのサービス提供を実現している．また，GMPLSの安定的な実運用を実現した点にも大きな特徴がある．高信頼化方式に関しては，マルチレイヤサービスを考慮して各レイヤ間で適切な連携をとってサービスごとの高信頼化を実現した点に特徴がある．

5. 検証・評価結果

本章では，前述したネットワーキング手法の正常動作を確かめるべく，実ネットワークを構成する装置と同一シリーズの装置（L1スイッチはNEC UN5000， IPルータはJuniper Networks T640/T320）を用い検証を行った．一つは，品質制御に関するL1スイッチとIPルータの連携動作，もう一つはプロテクション性能に関しての検証である． 5. 1 L1スイッチとIPルータの連携動作検証品質制御機能の検証環境を図12に示す．L1スイッチ間は2本のSTM64回線，各L1スイッチは隣接の IPルータと2本の10 GEインタフェース，IPルー

(9)

Fig. 12 Experimental environment for QoS control.

表 2 QoS制御機能の検証結果

Table 2 Experimental results on QoS control.

タとテスタ間は10 GE 1本とGE 8本で接続した．ここで，IPルータ間のパスの帯域は，各々VC-4-48v （=7.188 Gbit/s）に設定し，IPルータにはIPv4/IPv6 dual stack用とL3VPN用の論理ルータを設定してマルチリンクに対してロードバランスを動作させた．テスタは，IPルータ#1に対して，10 GEとGE× 4のインタフェースからIPv4/IPv6トラヒックを，残りのGE× 4のインタフェースからL3VPNのトラヒックを入力し，また，IPルータ#2からの出力を計測した．IPv4/IPv6，L3VPNともに各々200フロー（送信元/あて先IPアドレスで指定）を発生させ，User Priorityビットを用いて4クラスでマーキングした．ここで，各クラスの比は，EF：NC：AF：BE = 10： 5：20：65とした．テスタからは，VC-4-48v× 2の帯域を超えるトラヒックを入力するため，L1スイッチからIPルータに対してPAUSE信号によるパケット停止・再開が繰り返し行われ，IPルータはQoS制御を行ってパケットを転送するはずである．パケットサイズを128バイトとして90秒間トラヒックを注入した際の，IPルータのインタフェース10 GE#1-1及び10 GE#1-2における，キューイングされたパケット数，送信されたパケット数，廃棄されたパケット数を表2に示す．IP 図 13 FRR/Protection機能確認のための構成 Fig. 13 Experimental environment for FRR/Protection.

ルータは，リンクアグリゲーションを行っているインタフェースから個別にPAUSE信号を受け，個別に QoS制御を行い，かつベストエフォートパケットのみを廃棄していることが確認できた．また，PAUSE信号を受けながらも，均等にロードバランシングを行っていることも確認できた．また，片側のリンクを断状態にした際に，すべてのトラヒックが一つのリンクだけで転送されることも確認した．これらの結果により，目的の動作が正常に行われることが確認できた． 5. 2 FRR/Protectionの切り換わり時間評価各論理ルータが大規模なテーブル情報をもった場合のFRR及びProtectionの切り換わり時間に関して検証を行った．図13に示すように，SINET3の中央ループの構成を模擬し，IPv4/IPv6 dual stack論理ルータにIPv4を24万経路，IPv6を3万経路もたせ，L3VPN論理ルータに400VPN，総IPルート数 10万，VPLS論理ルータに400VPN，総MACテーブル数4万をもたせた．東京1と大阪の間には，プライマリパスとセカンダリパスを設定し，東京1の名古屋向けのインタフェースをdisableにした際の切り換わり時間を測定した．切り換わり時間は計測可能なパケットロス数から換算した．大阪→東京1は，高速なFRRが先に動作した後にセカンダリパスに切り換わるが，東京1→大阪は，東京1がIngressになるためFRRは働かず直接セカンダリパスに切り換わるため，後者の切り換わり時間が気になるところである． 4回の実験を行ったところ，大阪→東京1のパスの切り換わり時間は，L3VPNで平均35.8 ms，VPLSで平均34.8 ms，東京1→大阪のパスの切り換わり時間は，L3VPNで平均79.5 ms，VPLSで平均80.8 msであった．この結果から論理ルータごとに大容量の情報を保持した状態でも，FRR/Protectionは正常に動作

(10)

し，Protectionの切り換わり時間も十分な速さであることが確認できた．

6. むすび

マルチレイヤ，マルチVPN，マルチQoS，帯域オンデマンドサービスを柔軟かつ高信頼に提供するための詳細ネットワーク設計手法を示した．また，実機による検証結果を示し，設計手法の正常動作と性能を明らかにした．SINET3はこの設計手法に基づき構築され，現在まで安定的に各種サービスを提供している．また，今後の新しいサービスに対して，論理ルータや論理パス等の追加により柔軟に対応できるため，今後も要望に応じてタイムリーに新しいサービスを提供していく予定である．謝辞 SINET3計画の具体化に御協力頂いた学術情報ネットワーク運営・連携本部の各委員，SINET3の詳細設計に御協力頂いたNTTコミュニケーションズ（株），（株）インターネットイニシアティブ，日本電気（株），日商エレクトロニクス（株），ジュニパーネットワークス（株），NTTネットワークサービスシステム研究所，NTTアドバンステクノロジ（株），国立情報学研究所学術ネットワーク課の方々に深く感謝の意を表します．文献

[1] N. Morita and H. Imanaka, “Introduction to the functional architecture of NGN,” IEICE Trans. Com-mun., vol.E90-B, no.5, pp.1022–1031, May 2007. [2] R. Summerhill, “The new Internet2 network,” 6th

GLIF Meeting, Sept. 2006.

[3] M. Campanella, “Development in GEANT2: End-to-end services,” 6th GLIF Meeting, Sept. 2006. [4] 学術ネットワーク運営・連携本部：http://csi.nii.ac.jp/ [5] S. Urushidani, S. Abe, K. Fukuda, J. Matsukata, Y. Ji, M. Koibuchi, and S. Yamada, “Architectural de-sign of next-generation science information network,” IEICE Trans. Commun., vol.E90-B, no.5, pp.1061– 1070, May 2007.

[6] S. Urushidani, J. Matsukata, K. Fukuda, S. Abe, Y. Ji, M. Koibuchi, S. Yamada, K. Shimizu, T. Takeda, I. Inoue, and K. Shiomoto, “Layer-1 bandwidth on demand services in SINET3,” Globecom 2007, Dec. 2007.

[7] SNET: http://snet.nifs.ac.jp/SNET.html [8] Earthquake Information Center:

http://www.eri.u-tokyo.ac.jp/KOHO/Yoran2005/ 20-21.html

[9] N. Kawaguchi, “Optical ﬁber connected VLBI net-work in Japan,” 4th eVLBI Workshop, July 2005.

[10] 堀井，“教育施設の先端事例：北陸地区双方向遠隔授業シ

ステムの紹介，”金沢大学広報，vol.29, no.1, pp.10–13, March 2006.

[11] S. Shimizu, “Remote medical activity over APAN,” Spring 2006 Internet2 Member Meeting, April 2006. [12] K. Harada, T. Kawano, K. Zaima, S. Hatta, and S.

Meno, “Uncompressed HDTV over IP transmission system using ultra-high-speed IP streaming technol-ogy,” NTT Technical Review, vol.1, no.1, pp.84–89, April 2003.

[13] ITU-T Recommendation G.7041, “Generic framing procedure (GFP),” Aug. 2005.

[14] ITU-T Recommendation G.707, “Network node in-terface for the synchronous digital hierarchy (SDH),” Dec. 2003.

[15] ITU-T Recommendation G.7042, “Link capacity ad-justment scheme (LCAS) for virtual concatenated signals,” March 2006.

[16] E. Rosen and Y. Rekhter, “BGP/MPLS IP virtual private networks (VPNs),” RFC4364, Feb. 2006. [17] L. Martini, E. Rosen, N. El-Aawar, and G. Heron,

“Encapsulation methods for transport of Ethernet over MPLS networks,” RFC4448, April 2006. [18] K. Kompella and Y. Rekhter, “Virtual private LAN

services using BGP,” draft-ietf-l2vpn-vpls-bgp-08, June 2006.

[19] T. Takeda, “Framework and requirements for layer 1 virtual private networks,” draft-ietf-l1vpn-framework-05, Jan. 2007.

[20] L. Berger, “GMPLS signaling resource ReserVation protocol: Traﬃc engineering,” RFC3473, Jan. 2003. [21] E. Mannie and D. Papadimitriou, “GMPLS

exten-sions for SONET and SDH control,” RFC3946, Oct. 2004.

[22] P. Pan, G. Swallow, and A. Atlas, “Fast reroute ex-tensions to RSVP-TE for LSP tunnels,” RFC4090, May 2005.

[23] R. Guerin and V. Peris, “Quality-of-service in packet networks: Basic mechanisms and directions,” Com-put. Netw., vol.31, no.3, pp.169–189, 1999.

（平成 19 年 12 月 20 日受付，20 年 5 月 7 日再受付）漆谷重雄（正員）昭 60 神戸大大学院修士課程了．同年日本電信電話（株）入社．以来，ATM ネットワーク，高度 IN，IP/MPLS ネットワーク，光 IP ネットワーク，並びに，ハイエンドネットワークシステムの研究開発・事業導入に従事．平 10 学術情報センター客員助教授，平 16 国立情報学研究所客員教授を経て，平 18 国立情報学研究所教授．工博（東大）．昭和 63 本会論文賞，平 2 本会学術奨励賞受賞．IEEE 会員．

(11)

接続の推進などに従事．平成 19 年 5 月逝去．阿部俊二（正員）昭 55 豊橋技科大・工・情報卒．昭 57 同大大学院修士課程了．同年（株）富士通研究所入社．平 7 年 6 月学術情報センター．平 12 年 4 月国立情報学研究所．工博（東大）．現在，国立情報学研究所准教授並びに SINET 利用推進室長．通信ネットワークの性能評価，トラヒック制御方式，超高速コンピュータネットワークアーキテクチャなどの研究開発に従事．IEEE 会員．計宇生（正員）昭 59 東大・工・電子卒．平元同大大学院博士課程了．工博．平 2 学術情報センター助手．平 7 同助教授を経て，現在国立情報学研究所准教授．ネットワークの品質保証，トラヒック制御等の研究に従事．情報処理学会，IEEE 各会員．福田健介（正員）平 11 慶大大学院理工学研究科計算機科学専攻博士課程了．博士（工学）．同年，日本電信電話（株）入社．以来，NTT 未来ねっと研究所に所属．平 14 ボストン大学訪問研究員．平 18 より国立情報学研究所アーキテクチャ科学研究系准教授．インターネット及びネットワーク科学に関する研究に従事．鯉渕道紘（正員）平 15 慶大大学院理工学研究科開放環境科学専攻博士課程了．博士（工学）．現在，国立情報学研究所アーキテクチャ科学研究系助教．総合研究大学院大学複合科学研究科情報学専攻助教（兼任）．相互結合網と高性能計算システムに関する研究に従事．平 19 IEEE Computer Society Japan Chapter Young Author

Award受賞．情報処理学会，IEEE 各会員．フトウェア科学会各会員．山田茂樹（正員）昭 47 北大・工・電子卒．昭 49 同大大学院修士課程了．同年 NTT に入社．交換ノード用プロセッサ，交換用超並列システム，分散ネットワークシステム等の研究開発に従事．昭 56∼57 カリフォルニア大学ロサンゼルス校客員研究員．平 12 国立情報学研究所教授．平 18 国立情報学研究所学術ネットワーク研究開発センター長併任．博士（工学）．情報処理学会会員，IEEE シニア会員．