ネ ッ ト ワ ー ク 高 度 利 用 推 進 協 議 会 シ ン ポ ジ ウ ム 「 商 用P 2 P 、 ク ラ ウ ド 、 キ ャ ッ シ ュ を 活 用 し た ネ ッ ト ワ ー ク 効 率 化 最 新 動 向 」 N T T サ ー ビ ス イ ン テ グ レ ー シ ョ ン 基 盤 研 究 所 亀 井 聡
P2P技術を用いたネットワーク
効率化に向けた活動について
概要
2
P2P技術のメリット
ネットワーク負荷とコスト
P2P配信の課題
標準化の状況
推進協議会の実験
まとめ
P2P技術のメリット
3
サーバでのボトルネックを防ぎつつ多数のユーザに
コンテンツ配信可能．
数分の一～数十分の一にサーバトラヒックを削減．
ユーザ数が増えれば増えるほど安定配信可能
配信前のアクセスユーザ数見積りが丌要なため，より高解像
度でのコンテンツ配信が可能．
P2P技術のメリット
各種配信方式の適する領域
4
視聴者数
コンテンツ量
C/S+CDN: あらかじめ高い利用者数が読めている領域，
C/S: 利用者数はそこそこ．利用者
規模に応じて増設が必要．
C/S+配信プラットフォーム:
コンテンツの相乗りでコスト削減．
個別の方式はハイブリッド．
P2P: 利用者が膨大でインフラが用意できない領域
P2P: 増設が間に合わない領域
P2P: コストがかけられない領域
P2P技術のメリット
現状
5
大容量配信への期待は継続．特に需要が読めない領
域では依然として有望．
サーバの機動的な増設はクラウド技術である程度カ
バーできつつある．
制御できない
P2Pより制御できるC/Sという場合には
クラウドでの
C/S配信が有力な選択肢になる場合も．
P2P技術のメリット
ネットワーク負荷とコスト
6
効率よく配信するにはどうすればいいのか？
サーバ側の視点
ネットワークに投入するので，あとはネットワークの中で複製し
てくれればサーバから出る量は減る．
ネットワーク側の観点
できるだけ利用者の近くから流す．
利用者の近くまで持ってきてから複製する．
理想的には，マルチキャストが使えれば最も効率的．擬似マ
ルチキャストとして
P2P，キャッシュ技術が位置づけられる．
ネットワーク負荷とコスト
ネットワーク内複製の非効率性
7
レイヤ間連携がないとこんなことも
……．
一見効率的だが
……
a
b
c
d
a
c
d
b
インフラのレイヤではこうなってるかも？
a
b
c
d
インフラへの負荷を考えると，コスト×
リンク数の最小化が望ましいが，回線コ
ストやトポロジ情報は
ISPしか知らない
ことが多い．
ネットワーク負荷とコスト
P2Pとクラウド
8
P2P技術を単純に利用
ネットワークに投げ込むだけでは，ネットワーク事業者の
立場が考慮されておらず，ユーザ品質のコントロールも困
難．
クラウド利用
コスト観点から事業者の集中が起きやすい．海外から多く
の動画が降ってくるような未来はほんとうに効率的か？
今後とも安価に提供し続けられるのかは未だ未知数．
この場合キャッシュでの対応が有力な選択肢．
ネットワーク負荷とコスト
P2P配信による解決策
9
P2P技術を配信に用いることで，
網内複製
(アプリケーションレイヤマルチキャスト)
コンテンツの地産地消
が技術的には可能になる，筈だが……．
ネットワーク負荷とコスト
P2P配信の課題
P2P技術を用いたコンテンツ配信の利点(主にコンテ
ンツ供給側
)
利用者を配信源とすることでサーバコストを圧縮できる．
需要が予測できない配信に適する．
P2Pトラヒックが持つ問題点(主にISP)
サーバボトルネックが軽減するため流通量が増大
下位のネットワークを考慮しないため効率が悪くなりがち．
他のトラヒックを圧迫
インフラと配信事業者の
利害が衝突
10
P2P配信の課題
ISP間接続の構造
インターネットの階層構造
ISP-A
CUST-B
CUST-A
ISP-X
トランジットを売ることで
インタネットへの接続性を提供
ISP-Y
トランジットを購入し、
インタネットへの到達性を確保
ISP-B
ISP-C
peering
peering
transit
transit
ピアリングにより
相互の良好な到達性を確保
上流
the Internet
☆ある
ISPの視点からみたインターネット
11
P2P配信の課題
インフラへのインパクト
登場当初はとにかく量が多いことが問題であった．
特にアクセス網における丌公平性．
最近はアクセスボトルネックの解消とともにバックボーン
での課題となりつつある．
利用者間公平性→事業者間公平性
ＩＳＰ－Ｂ ＩＳＰ－Ａ ＶＯＤ プロバイダー （ＣＰ） ●ISP-Aは、VODプロバイダーから収入。 ●ISP-Bは、VODプロバイダーからの収入がない。 ○ISP-AとISP-Bが料金を精算しない対等ピアリングの関 係にあるのなら、大量のトラヒックの流入のみ発生。 ○ISP-Bが下位に位置するISPなら、支払うトランジット料 金が増加。 接続料金 Ｐ２Ｐネットワークの在り方に関する作業部会報告書 NTTコミュニケーションズ（株）提供資料を基に編集12
P2P配信の課題
まとめ
13
P2Pアプリケーションは多くのISPの網上で分散動作
するため，制御や観測が困難．なにが起こっている
かの把握が必要．
うまく使えばネットワーク効率を高められる．効率
的な配信網の構築によるネットワーク負担の軽減化．
ネットワーク事業者からの制御を受け入れる仕組み．
まず必要なのは，
P2P事業者とネットワーク事業者
の対話と連携．
P2P配信の課題
標準化の状況
FCCの動き
Comcast によるP2P
トラヒックの遮断
FCCによる是正命令
中立性原則発表
全米ブロードバンド
計画
(NBP)発表
是正命令敗訴
2007
2008
2009
2010
U.S.業界団体の動き
DCIA P4PWG発足
Comcast と Bittorrent の
歩み寄り
Field Trial
各社帯域上限設定
IETF
P2Pi meeting
IETF72 ALTO/TINA BOF
IETF73 ALTO/LEDBAT WG
IETF75 PPSP/DECADE BOF
IETF78 PPSP/DECADE WG
日本国内
中立性懇
帯域制御ガイドライン
P2P実験協議会
NW高度利用推進協議会
14
標準化の状況
IETFにおけるP2P関連活動概観
15
リサーチ
(IRTF)
P2PRG Peer-to-Peer Research Group (from IETF74/2009)
アプリケーションエリア
ALTO Application-Layer Traffic Optimization WG (from IETF72/2008)→ IETF79からトランスポートエリアへ DECADE Decoupled Application Data Enroute WG (from IETF78/2010) →IETF79からトランスポートエリアへ
トランスポートエリア
LEDBAT Low Extra Delay Background Transport WG (from IETF72/2008) PPSP Peer to Peer Streaming Protocol WG (from IETF78/2010)
リアルタイムアプリケーションエリア
P2PSIP Peer-to-Peer Session Initiation Protocol WG(from IETF68/2007)
アプリケーション プラットフォーム ネットワーク運用 ALTO LEDBAT DECADE PPSP P2PSIP P2PRG 活動範囲 アプリ作成
P2PSIP (VoIP) / PPSP (Streaming) DECADE (ストレージ制御)
ALTO(自網内でのP2Pアプリの制御) LEDBAT (ベストエフォートの下位クラス)
ALTO WGの概要と状況
16
概要
P2P技術はリソースの冗長性がメリットである一方で，無駄な
トラヒックが生じる傾向があることが問題．
解決策として，
ISP側が提供する網情報を元にしたガイダンス
に従い
P2Pアプリケーションが適切な(近傍の)ダウンロード先
を選択する枠組みとそのプロトコルを策定．
状況
problem-statement RFC化(RFC5693/Oct2009)
requirement, protocol Last call(Jan2011)
仕様策定はほぼ完了で落穂拾いのフェーズ．今後はいくつか
ある独自実装の相互接続性検証，運用上の問題整理等が課題．
ALTO Protocol の Architecture
17
ALTO
Server
P2P Tracker
(ALTO Client)
P2P Client
Peer
Peer
Peer
Peer
Peer
Peer
Peer
Peer
1)Get Network Map
2)Get Cost Map
3)Get Peers
4)Selected Peer
List
5)Connect to
Selected Peers
ISPがネットワークの
Cost Map/Network Map
を定義，ALTO Serverに
入力
&運用．
PID 1 PID 2 PID 3
PID 1 1 10 15 PID 2 10 1 20 PID 3 15 20 1 PID 1: 192.0.2.1/24,… PID 2: …
Cost Map
Network Map
ん
Network 事業者
P2P 事業者
ALTOの範疇
標準化の状況
ALTOの注目点
18
P2Pの商用利用に向けて・設備コストの削減
草の根の
P2Pと差別化するための方策として有望．加えてネッ
トワーク事業者と商用
P2Pとの共通インタフェースとして．
P2Pアプリのためだけでなく，近傍制御のための汎
用プロトコルとして有望．
CDNの制御に向けたdraftがCisco/Juniperから．
Ciscoのデータセンタ向けソリューション(UCS)内での
Cloud間
制御に
ALTOプロトコルが利用
されている．
標準化の状況
DECADE WGの概要と状況
19
概要
P2Pトラヒック増大への対策として，大容量ストレージを網内
に留めることが有望である．
P2Pキャッシュ等のアプローチは
個々の
P2Pプロトコルへの対応が必要であり，非効率的．また，
コンテンツホルダーへの
I/Fも未整備．
上記解決のため
P2Pアプリが利用するストレージを扱うための
汎用プロトコルの策定を目的とする．
状況
2回目の開催．プロトコルの適用範囲も含めてまだ議論は発散
中．
標準化の状況
DECADE Protocol の Architecture
20
DECADEの利用イメージ
21
HUAWEIによるDECADEの実装実験例
22
ファイル共有
ライブ配信
1/3標準化の状況
DECADEの注目点
23
ISPの新たなビジネスモデルとして興味深い．
仮想化クラウド上での
P2Pアプリの運用．
Bittorrent over EC2
端末型
P2Pの丌安定さを補う手法として有効．
ウェブ向けのキャッシュサービスのバックエンド
大量の中小規模
ISPを収容する場合のキャッシュ間連携．
アクセス回線が高コストな環境での利用
モバイル環境等．
標準化の状況
ネットワーク高度利用推進協議会の実験
24
大きな目標は，コンテンツ流通を促進するため，大
量のトラヒックをさばけるネットワークアーキテク
チャを作ること．
そのための手段として
P2P，キャッシュ等に注目．
推進協議会の実験
海外での各種実験と協議会実験
25
ISP
P2P
Protocol 測定
海外実験(P4P)
Verizon等
pando
独自
アプリ内(一部シミュ
レーション？)
海外実験(P4P)
Comcast
Bittorrent
独自
アプリ内
海外実験(ALTO) China Telecom Bittorrent(系) ALTO(改)
バックボーンでの計
測(含DPI)
国内実験(-2009) 複数ISP
複数アプリ 独自
ダミーノード
国内実験(2010) 複数ISP
複数アプリ ALTO(改) ダミーノード
海外での既存実験は単一ISP・単一アプリが中心．
光普及率・バックボーンの構造・ビジネスの構造の差か．
普及が進むにつれ同様の問題が発生すると予測．
推進協議会の実験
実験概要
P2Pアプリケーションの挙動を把握し，課題を明ら
かにする．
ユーザ環境を模擬する
ダミーノード
を用いた測定
問題解決に向けた仕組の検討，実証
網情報をアプリに反映する
(ネットワーク距離を考慮した適切
なピア選択
)ための
ヒントサーバ
を用いた実験
26
推進協議会の実験
今年度の注力点
27
ヒントサーバと国際標準
(IETF ALTO)との互換性向上．
ヒントサーバ用データを国内主要
3キャリアの経路情報
から構成．
個々の
ISPでヒントサーバをカスタマイズできるようにプ
ライベートヒントサーバを導入．
コスト情報に留まらない制御ということで，
CATVでの網
内制御の実験を行った．
推進協議会の実験
ダミーノードでの測定
コンテンツキャッシュ / 部分ファイル
オリジンサーバ
コンテンツ配布元
制御サーバ
トラッカー
DRM etc…
コンテンツ
メタデータ？
ログ，制御情報
ピア
利用者ノード
制御信号，ログ
ピア
ピア
測定専用ノード
（ダミーノード）
28
推進協議会の実験
ダミーノードの設置状況
場所 ISP 1) 2) 3 ) 4) 札幌市 HOTnet ● ○ ○ ○ 札幌市 NTTCom検証設備 － ●× ２ ● － 札幌市 NTTCom北海道支店 － － ○ ○ 場所 ISP 1 ) 2) 3) 4 ) 福岡市 NTTCom検証設備 － ● ● － 福岡市 NTTCom九州支店 － － ○ ○ 大分市 大分CATV △ △ △ △ 鹿児島市 グッドコム ● ● ● ○ 場所 ISP 1) 2) 3) 4) 福井市 MiteneInternet ● ○ ● ○ 金沢市 インクル ● ● ● ○ 金沢市 ネスク △ △ △ △ 富山市 コーラルネット ● ● ● ○ 富山市 富山IX － ●×２ － － 富山市 FITWEB ● 場所 ISP 1) 2) 3) 4) 堂島 NTTCom検証設備 － ●×２ ● － 大阪市 NTTCom関西支店 － － ○ ○ 大阪市 スマートコネクト － ● ● ○ 京都市 ??? 場所 ISP 1) 2 ) 3 ) 4 ) 名古屋市 NTTCom東海支店 － － ○ ○ 東海市 知多メディアス ● ● ● ○ 場所 ISP 1) 2) 3) 4) 倉敷市 倉敷CATV ● ● ●×２ ○ 岡山市 岡山IX － ● － － 広島市 NTTCom中国支店 － － ○ ○ 米子市 中海テレビ △ △ △ △ 場所 ISP 1) 2) 3) 4) 松山市 愛媛CATV ● ● ● ○ 高松市 NTTCom四国支店 － － ○ ○ 高知市 高知IX － △ － － 場所 ISP 1) 2) 3) 4) 大手町 NTTCom検証設備 － ●×3 ○ ○ 横浜市 横浜テレビ △ △ △ △ 場所 ISP 1) 2) 3 ) 4 ) 山形市 CATV山形 ● ● ● ○ 仙台市 NTTCom東北支店 － － ○ ○ 仙台市 キャベツ 青森市 青森CATV 秋田市 秋田CATV 遠野市 遠野テレビ2009/02/04 現在
42台のダミーノード設置済
ISP提供環境 DummyNode設置状況 1 ) エンドユーザ環境の提供 ● 設置検討OK、設置済 2 ) ISPネットワーク環境の提供 ○ 設置検討OK、設置未 3 OCN回線施設場所の提供 △ 設置検討中 場所 ISP 1 ) 2 ) 3 ) 4 ) 長野市 NTTCom信越支店 － － ○ ○ 上越市 上越CATV ○ △ △ △推進協議会の実験
ダミーノードでの測定によるピア選択状況
ある
ISPに設置したダミーノードのピア選択状況に着目した
結果．
ほぼ
ISPシェア，人口に比例した結果となっており，ランダ
ムにピア選択が行われている現状を捉えている．
条件
実験
1
実験
2
A: 同一ISPピアを選択
22%
29%
B: 同一地域ピアを選択
19%
23%
A∧B
5%
7%
30
推進協議会の実験
ん
ん
Full-mesh
Cost DB
経路探索プログラムALTO/Hint Server 2010
31
Topology
DB
変換プログラム
BGP full
route
ALTO/Hint
Server I/F
・PeerSelection
・EndpointCostMap
ISP/IX
データ更
新I/F
subnet AS route subnet->AS->PID AS route->PID routeCost of PID pairs dijkstra
Full-mesh
Cost DB
経路探索プログラムTopology
DB
複製
Public Hint Server
Private Server
IX Logic / 海外AS
コスト処理等
PID Topology Link cost
ALTO/Hint Server Program
GEO IP DB
BGP経路のマージとトポロジーDB
32
BGP Full Route in ISP A
BGP Full Route in ISP B
Merged Topology
ノード情報のマージと更新
ネットワーク情報の更新は基本的にトポロジーに対
するオペレーションにより実施．
ノード
(＝PID≒AS)の追加(分割)．サブネット単位．
リンクの追加・削除．
コストの変更．
その他
BGP経路についてはマージスクリプト作成．
国内実験用ということで，海外経路を集約．国内
(AS単位)・韓
国
(PPSolutions利用NW，その他)・その他海外．
33
推進協議会の実験
事業仕分け配信
NHKコンクール配信
0 20 40 60 80 100 120 140only OCN without OCN all
ヒントなし ヒントあり 0 20 40 60 80 100 120 140
only OCN without OCN all
ヒントなし ヒントあり
ヒントサーバ制御による平均コスト削減効果
34
制御による削減効果あり．
ISPが大きく，視聴者数が多
いほど効果大．
推進協議会の実験
ヒントなし
ヒントあり
35
制御状況の視覚化
(富山での観測)
0 10 20 30 40 50 60 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 ［ m bps ］ ［ s］ KCT - 岡山 HIGE - 宮城 HIGE - 東京 OCN - 愛知 IIJ - 北海道 IIJ - 東京 IIJ - 神奈川 HOTNET - 北海道 0 5 10 15 20 25 30 35 40 45 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 220 230 ［ m bps ］ ［s］ OCN - 鳥取 OCN - 大阪 OCN - 石川 OCN - 山形 OCN - 愛知高スループットをつかむまで
試行錯誤するヒントなし動作
に対し，ヒント制御後は安定
して近い
ISPをつかんでいる．
推進協議会の実験
CATVでのP2P制御
36
CATVでのCMTS実装では，帯域
が共有型であるためP2Pとの相
性が悪い場合がある．
同様に非対称な
ADSLでは非共
有なため，分散で対応可．
CMTS 下り通信速度 1Mbps x 3 = 3Mbps 以上必要 CMTS 上り通信速度 1Mbps x 3 = 3Mbps 以上必要 コンテンツ 輻輳 0 20 40 60 80 100 120 速度 比[ % ] 対策前 対策１ 対策２ 端末２ 端末３ 端末４ 端末１ 端末２ 端末３ 端末１ 端末２ 端末３ 端末４ 端末１ 端末２ 端末３ 端末４ 端末４ キ ャ ッ シュサー バ制御によりおよそ倍のスルー
プットに．網情報を用いた
P2P制御の重要性を確認．
推進協議会の実験
得られた知見と標準化へのフィードバック
37
実験で得られた知見
ダミーノードによる測定から現状を把握
IETF ALTO型制御の有効性とデータ作成手法
個別
ISPでのカスタマイズに向けたプライベートサーバの導入
網情報一般を
P2P制御に用いることの有効性確認
国内での取り組み状況を
IETFのP2PRGの場で発表．
主に運用面での課題をフィードバック．主なトピックは
測定・検証の重要性
複数
ISP，複数P2Pアプリでの利用における有効性と運用上の課題
プライベートサーバによる階層化等．
推進協議会の実験
まとめ
38
効率的なネットワーク利用を目指し，
P2P技術の適
用に必要な課題解決を目指した実験を行った．
標準化が進む
P2Pインフラ連携方式について，有効
性の確認と運用上の課題を抽出．解決に向けた提案
を行っている．
ISP，P2P事業者の技術的な情報交換のみならず，ビ
ジネス上での情報交換の場としても協議会は有効で
あった．
まとめと考察
P2P技術の今後
内部的には既にあたりまえに使われている状況．
