ネットワークインフラ最前線 ~ 最新のトレンドから信頼性向上の取り組みまで ~ NTT コミュニケーションズ株式会社ネットワークサービス部テクノロジー部門担当部長エバンジェリスト吉田友哉 Copyright NTT Communications Corporation. All rights r

(1)

ネットワークインフラ最前線

～最新のトレンドから信頼性向上の取り組みまで～

NTTコミュニケーションズ株式会社

ネットワークサービス部テクノロジー部門担当部長

エバンジェリスト吉田友哉

2019年10月4日

(2)

自己紹介

吉田友哉 / エバンジェリスト

■主な活動団体

JANOG, Interop, JPNIC, APNIC

ICT-ISAC BGPWG

■主な歴任

Interop NOCメンバ、NOCアドバイザリ

JPNIC IRR企画策定専門家委員チェア

JPNIC IPアドレス検討委員長

APNIC Routing-SIG Chair

番号資源利用状況調査研究専門家委員

専門分野

☑ ネットワーク

☑ インターネット

☑ 資源管理ポリシー

✅ 日本版IRRの創設

✅ 日本や世界のBGPセキュリティ推進

✅ NW技術標準化・ルータ相互接続性向上

NTTコミュニケーションズ

ネットワークサービス部テクノロジー部門

担当部長

(3)

トラフィックトレンド

信頼性向上の取り組み

NWセキュリティ動向

(4)

(5)

アプリケーション比率

Web Browsing

32%

Web video

19%

Streaming Protocols

14%

Other

11%

Software

Updates

8%

Peer to Peer

4%

Online Games

4%

Tunneling

3%

Network Storage

3%

50%は

動画系

(6)

転送量の変化（2019/4, 2019/9）

識別不可となったUDPが増加

Gaming Appが増加

9月Windows Update

SSL, HTTP/2

たった半年でも傾向が変化

(7)

ChromeでYoutube

(8)

Windows Update

 特に強制配信がビジネストラフィックを圧迫

 8時30分, 9時がピーク（会社のPC電源ON）

 影響の大きなアプリは自動監視 -> MS_Teams, Slack

8/28-29

9/9-10

(9)

あるアンドロイド端末の1時間（操作なし）

Akamai

Amazon

Facebook

gateway

Google

LINE

Microsoft

OrionVM Cloud Platform

Twitter

(10)

あるアンドロイド端末の1時間

0

50

100

150

200

250

300

350

400

450

500

54

76

86

95 ₁

0

6

9

1 ₁

₁

2

9 ₁

4

9

0

7 ₁

₁

9

2 ₂

1

6

4

4 ₂

₂

6

2 ₂

7

9

3

0 ₃

₃

4

1 ₃

5

9

4

1 ₄

₄

7

0 ₅

1

3

6

8 ₅

₆

5

7 ₇

3

6 ₈

4

0 ₈

8

2 ₉

2

1

0

7

9

1

2

4

8

1

3

0

1

4

8

4 パケットサイズ

パケット数

ショートパケットが多い

 bpsよりppsを気にしないといけない

• 1パケットのサイズが小さい

• 帯域確保だけでは安心できない

• 常に電源ON → 勝手にパケット送出

 アプリの作りによっても特性が違う

(11)

OCNのDNSクエリ量 : 2007-2019

0

2

4

6

8

10

12 '07/11 '08/11 '09/11 '10/11 '11/10 '12/07 '13/09 '14/08 '15/09 '16/09 '17/10 '18/08 '19/09

約10倍

(12)

OCNのDNSクエリ量 : 2007-2019

0

2

4

6

8

10

12 '07/11 '08/11 '09/11 '10/11 '11/10 '12/07 '13/09 '14/08 '15/09 '16/09 '17/10 '18/08 '19/09

約10倍

スマホ普及

(13)

OCNのDNS通信 : IPv4/IPv6の割合

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Dec-16

Jun-17

Dec-17

Jun-18

Dec-18

Jun-19

Sep-19

PPPoE(IPv4)

PPPoE(IPv6)

IPoE(IPv6)

(14)

OCNのDNS通信 : IPv4/IPv6の割合

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Dec-16

Jun-17

Dec-17

Jun-18

Dec-18

Jun-19

Sep-19

PPPoE(IPv4)

PPPoE(IPv6)

IPoE(IPv6)

(15)

OCNのDNSクエリ : 1日の傾向

0.0

0.5

1.0

1.5

2.0

2.5

3.0 0:00

2:00

4:00

6:00

8:00

10:00 12:00 14:00 16:00 18:00 20:00 22:00

0:00

Mobile

Fixed

(16)

OCNのDNSクエリ : 1日の傾向

0.0

0.5

1.0

1.5

2.0

2.5

3.0 0:00

2:00

4:00

6:00

8:00

10:00 12:00 14:00 16:00 18:00 20:00 22:00

0:00

Mobile

Fixed

DNSのクエリからも人の行動が！

その他の例を２つご紹介

(17)

 スマホの通信量が昼激増

 過去類を見ないトラフィックの伸び

 アプリ1つでも影響力は大きい

(18)

(19)

6/19 コロンビア戦 21:00-（予選リーグ）

人が起きている時間は、インターネットトラフィックが減少

ハーフタイムに通信量増 → 後半試合開始と同時に再度減少

(20)

7/2 ベルギー戦 3:00-（決勝Ｔ）

瞬間最高視聴率関東で４２．６％

夜中にも関わらず相当な人が起きていた模様

ハーフタイム＋試合終了後に通常発生しないトラフィックが観測

出展：インターネットマルチフィード統計情報データより

(21)

7/1~7/7の1日の電力消費量

0 1000

2000

3000

4000

5000

6000

1:00

3:00

5:00

7:00

9:00

11:00

13:00

15:00

17:00

19:00

21:00

23:00

2018/7/1

2018/7/2

2018/7/3

2018/7/4

2018/7/5

2018/7/6

2018/7/7

東京電力パワーグリッドデータより：

でんき予報サイトに掲載されているCSVデータより集計

http://www.tepco.co.jp/forecast/

万kW

(22)

水の消費量

出典：東京都水道局「平成

27年度一般家庭水使用目的別実態調査」

この変化をみようと思ったが

詳細データが見当たらず断念

(23)

Srcポートの比率

80

443

(24)

 イベントトラフィックによる変動

• ライブ中継・ネット配信：甲子園

• ソフトウェアアップデートやゲーム配信：APPLE IOS update、

Windows update

• 国民的熱狂イベント：サッカーWC etc

• 自然災害：地震、豪雨

• インターネットオペレーションに関わる事象

 2018/10/19 youtubeのトラフィック激減、アクセスNG

 CDNやコンテンツ事業者からの流入トラフィック制御

• 複数の対外接続からきまぐれに流入、ここ最近はCDNを自前化傾向

 変動時に何が異常で何が正常かの見分けが困難に

• 昔ほど気にしない時代になってきたが、Watchしておく必要はある

トラフィックの変化要因とトレンド

(25)

(26)

信頼性強化の取り組み

2. 大容量・長延化

3. 復旧迅速化

（x日→x分）

4. 海底3ルート化

1. OCN耐性強化

部材配備＋遠隔復旧

突発需要への対応、効率化

沖縄・北海道

ルート冗長、主要拠点分散

(27)

1. OCN耐性強化

■

L1

ケーブルルート見直し

より距離を離す設計

■

L2/L3

小規模NOC集約、西分散促進

■

サーバ

東西DR分散

地域内冗長の推進

■

トポロジー

激甚耐性NWの維持

■

運用

一部可能だが、首都圏直下等を想定すると課題あり

震災前より推進

(28)

2. 大容量・長延化

400Gシステム対応済

LS⇔DC(BH)、DC間

注）LS：Landing

Station

BH: Backhaul

2019年以降全国拡大

着実に伝送容量を増大し、通常時、緊急時に

対応できるネットワークを構築

注）

ファイバルートはイメージ

(29)

3. 復旧迅速化

数日で確

実に切替

数分(xN)で切替可能

【パターン1】

・予備機構築

・復旧用部材を活用し迂回ルートへ切替

復旧部材の配備

重要回線の確実な復旧と迅速化

_{更なる復旧の迅速化（数日→数分）}

遠隔波長切り替え

【パターン2】

・全国展開に向けて整備検討

・遠隔作業で迂回ルート切替

＋

(30)

災害発生時の復旧イメージ

遠隔操作

現地へ駆け付け

遠隔操作のみで

救済可能

ｹｰﾌﾞﾙ被災

救済パスへ配線替え

現地へ駆け付け

救済パスへ配線替え

波長・ﾙｰﾄ

自動切替

【パターン１】

【パターン２】

予備ルート

数時間～数日

で救済

最速数分

で救済可

(31)

4. 海上3ルート化 ~更なる信頼性向上~

島伝い

ルート

長崎

ルー

ト

新ルート

区間名

故障発生回数

指宿～種子島

2回

種子島～屋久島

1回

中之島～悪石島

2回

悪石島～宝島

1回

徳之島～沖永部

1回

計

7回

秋田陸揚

石狩陸揚

陸揚げ局

むつ～室蘭

海底ｹｰﾌﾞﾙ

青函ﾄﾝﾈﾙ

ﾙｰﾄ

区間名

故障発生回数

むつ～室蘭

2回

計

2回

新ルート（検討中）

10G回線は運用中

九州～沖縄

北海道～本州

(32)

近年の災害

~

中継ネットワーク被災状況と復旧~

ケーブル全断線

ケーブル一部断

凡例

３．台風

10号

（

2016/8/30）

豪雨による道路崩壊

４．西日本豪雨（

2018/7/7）

豪雨による道路崩壊

２．熊本地震（

2016/4/16）

地震による道路崩壊

５．台風

24号（2018/9/29）

台風による海底区間ケーブル断

１．東日本大震災

（

2011/3/11）

地震による道路崩壊

注：ファイバルートはイメージです

(33)

東日本大震災（2011/3/11）のその後

原発エリアを避けて

迂回ルートを敷設中

(34)

光波長分岐

 最新鋭の光伝送技術（光波長分岐）

遠隔で光波長の分岐方向を自在に変更

広域災害時の迅速なトラヒック迂回

 比類なき大容量

毎秒60テラビット以上

（電話回線換算で約9.4億回線分）

 超高速伝送サービス

毎秒400ギガビット回線を提供可



2020年完成予定

東京オリンピックの需要にも対応

新日米海底ケーブル(JUPITER)の構築

(35)

(36)

 Carpet Bombing：絨毯爆撃

• 一様に複数同時攻撃し網側を輻輳させる攻撃

• 従来は攻撃対象がサイト(/32)に対する攻撃が主

• 攻撃緩和ソリューションに一工夫必要（個々の粒度が小）

ネットワークインフラ最前線

～最新のトレンドから信頼性向上の取り組みまで～

NTTコミュニケーションズ株式会社

ネットワークサービス部 テクノロジー部門 担当部長

エバンジェリスト 吉田 友哉

2019年10月4日

自己紹介

吉田友哉 / エバンジェリスト

■主な活動団体

JANOG, Interop, JPNIC, APNIC

ICT-ISAC BGPWG

■主な歴任

Interop NOCメンバ、NOCアドバイザリ

JPNIC IRR企画策定専門家委員チェア

JPNIC IPアドレス検討委員長

APNIC Routing-SIG Chair

番号資源利用状況調査研究専門家委員

専門分野

☑ ネットワーク

☑ インターネット

☑ 資源管理ポリシー

✅ 日本版IRRの創設

✅ 日本や世界のBGPセキュリティ推進

✅ NW技術標準化・ルータ相互接続性向上

NTTコミュニケーションズ

ネットワークサービス部 テクノロジー部門

担当部長

トラフィックトレンド

信頼性向上の取り組み

NWセキュリティ動向

アプリケーション比率

Web Browsing

32%

Web video

19%

Streaming Protocols

14%

Other

11%

Software

Updates

8%

Peer to Peer

4%

Online Games

4%

Tunneling

3%

Network Storage

3%

50%は

動画系

転送量の変化（2019/4, 2019/9）

識別不可となったUDPが増加

Gaming Appが増加

9月Windows Update

SSL, HTTP/2

たった半年でも傾向が変化

ChromeでYoutube

Windows Update

 特に強制配信がビジネストラフィックを圧迫

 8時30分, 9時がピーク（会社のPC電源ON）

 影響の大きなアプリは自動監視 -> MS_Teams, Slack

8/28-29

9/9-10

あるアンドロイド端末の1時間（操作なし）

Akamai

Amazon

Facebook

gateway

Google

LINE

Microsoft

OrionVM Cloud Platform

Twitter

あるアンドロイド端末の1時間

0

50

100

150

ネットワークサービス部テクノロジー部門担当部長

エバンジェリスト吉田友哉

ネットワークサービス部テクノロジー部門

₁

₁

₁

₁

₁

₁

₂

₂

₂

₂

₃

₃

₃

₄

₄

₅

₅

₆

₇

₈