第 2 回インターネットトラヒック研究会ネットワーク計測プロジェクトの紹介とインターネット環境評価の報告北善明 ( 東京業学 ) January 15, 2021

(1)

ネットワーク計測プロジェクトの紹介と

インターネット環境評価の報告

北⼝善明（東京⼯業⼤学）

January 15, 2021

(2)

本⽇の内容

SINDAN

プロジェクトの紹介

SINDAN: Simple Integrated Network Diagnosis And Notification

iNonius

プロジェクトの紹介

iNonius: Internet Nonius(

_ノギス)

インターネット環境評価について

(3)

(4)

SINDAN

プロジェクトの背景と⽬的

ネットワーク運⽤におけるトラブル対策

イベントネットワーク、キャンパスネットワークなど

「つながらない」というクレーム

サーバ監視や外部接続監視では分からない問題

ユーザが被っている障害はユーザ側から確認が必要

階層的な計測でネットワーク障害を切り分けたい

ユーザ側の計測結果を的確に運⽤者に伝えたい

ユーザ視点における状態計測⼿法の確⽴

ネットワーク接続性記述⼿法の定義と標準化

※IPv6時代を想定し，デュアルスタックなど複数のIPバージョンを利⽤する環境を想定

(5)

「つながらない」場合の障害点例

物理的な接続性（リンクレイヤ）による障害

スイッチングハブの故障、無線区間の問題（電波⼲渉，認証の不具合）、

対外接続回線の障害など

IP

的な疎通性（IPレイヤ）の障害

ユーザ端末のIPアドレス設定による問題、

IPv4/IPv6

アドレス変換装置における障害など

名前解決における障害

DNS

_{レゾルバやDNSサーバ設定の不具合、IPv4/IPv6応答の不整合など}

アプリケーション動作の障害

セキュリティ製品の誤動作（フィルタ設定ミス，防御機構の誤検知）、

MTU

_{設定と断⽚化異常、Webサーバにおける障害など}

(6)

ネットワーク運⽤モデルと評価項⽬

ネットワーク運⽤モデル

IPv6

とIPv4ネットワークにおける差異例

グローバルアドレス利⽤，NAT利⽤環境

IPv4/IPv6

_{混在環境ネットワークにおける差異例}

IPv6

_{ネイティブ，IPv6トンネリング，トランスレータ利⽤，デュアルスタック，}

パラレルスタック

⾃動アドレス設定の差異例

DHCP

_{，SLAAC*，DHCPv6}

ネットワーク障害の評価項⽬

階層モデルでネットワーク状態を整理

リンク状態，IPアドレス設定，名前解決，IP到達性など

ウェブサービスなど実装依存部分への影響整理も考慮

(7)

計測階層モデル

L2_{の接続状態}

Wi-Fi_{のAssociation状態など}

1. _{データリンク層}

boolean:

リンク状態の確認 information:MTU, MAC_{アドレス, SSID,} BSSID, RSSI, Noise _等インタフェースのIPアドレス設定 SLAAC, DHCP, DHCPv6

2. _{インタフェース層}

boolean: ⾃動アドレス設定の確認 information:IP_{アドレス, デフォルトルー} タ, ネームサーバ, RA情報等内部ネットワークでの到達性

3. _{ローカルネットワーク層}

boolean: デフォルトルータへの到達制確認等 information: 通信遅延（RTT）外部ネットワークへの到達性

4. _{グローバルネットワーク層}

boolean: 外部サーバへの到達制確認等 information: 通信遅延（RTT）, 経路, パスMTU DNS_{における名前解決} A_{レコード, AAAAレコード, 順序}

5. _{名前解決層}

boolean: IPv4_{およびIPv6の} 名前解決確認 information: DNS_{の回答結果の順序} 外部アプリケーション通信

6. _{アプリケーション層}

boolean: HTTP_{通信の確認} SSH_{通信の確認等} information: 通信帯域, Speed Index, 利⽤可能アプリ調査等 boolean型障害の有無を判断する項⽬ information型ネットワーク状態を収集する項⽬下位層の情報を元に上位層の評価項⽬の実施有無を判断

(8)

ユーザ環境からのネットワーク計測

評価ネットワーク

情報収集サーバセンサノード（Linux）ユーザ端末（利⽤ネットワークの状態を評価しつつ集約情報を可視化で表⽰）タブレット端末ノートPC スマートフォン

インターネット

定期的な計測

計測結果の集約

可視化

_{センサノードを⽤いた}

定常的な計測による

ネットワーク接続性評価

様々な端末OSを活⽤した

計測アプリケーション

情報収集サーバにおける

ネットワーク接続性の可視化

(9)

iNonius

プロジェクト

(10)

iNonius

スピードテスト（2017年~2020年5⽉）

これまでの取り組み

10Gbps

までの通信速度計測を⽬指したスピードテストサイトの構築

2017

_{年より提供開始（IPv4, IPv6双⽅での計測）}

IX

_{の隣に計測サーバを設置（⼤⼿町DC）}

ブラウザへの機能追加なしでの計測（HTML5ベースのOSSを活⽤）

計測項⽬︓スループット(Upload/Download), 通信遅延, ジッタ

OSS

_{に追加した特徴}

IPv4

_{とIPv6の計測を}

順次実施

ユーザ毎に履歴を

保持可能

位置情報を⽤いた

可視化

(11)

iNonius

スピードテスト（2020年6⽉改訂版）

INTERNET

IPv4による計測

IPv6による計測

iNoniusサーバ（https://inonius.net/speedtest/）

クライアントPC

LibreSpeed

Webブラウザの標準機能で計測可能なスピード

テストサイト実装

(https://github.com/librespeed/speedtest)

ICMP, HTTP

tcprtt

LibreSpeed + tcprtt で計測

tcprtt

※独⾃実装

TCPセッションをモニタしセッション統計情報を

取得 (RTT, MSS, ヘッダ情報など)

デュアルスタック計測における端末同定⼿法

IFRAME内でIPv4, IPv6計測を実施

https://inonius.net/speedtest/ https://ipv6.inonius.net/test-frame.html?userId=1234567890 https://ipv4.inonius.net/test-frame.html?userId=1234567890 IPv6のみのFQDN

ユーザIDにて端末同定を実現

IPv4のみのFQDN デュアルスタックFQDN

計測項⽬

RTT, ジッタ, 通信スピード (LibreSpeed)

パケットロス率, ホップ数, MSS (tcprtt)

※位置情報取得は⼀旦停⽌

11 インターネットトラヒック研究会

(12)

iNonius Speed Test (IPv4/IPv6)

画⾯例

メインページへIPv4/IPv6どちらで接続したか判定

各プロトコルによる計測

計測順序︓接続に利⽤しているものから

利⽤できない場合には”not available”を表⽰

tcprttでの計測結果を表⽰

パケットロス率，ホップ数

MSSを基にしたネットワーク推定は今後の予定

利⽤ISP内での計測結果の位置を表⽰

ISP判定にはipinfo.ioのGeoIPサービスを利⽤

計測結果のシェア情報

(13)

iNonius

スピードテスト（まとめ）

特徴

10Gbps

まで計測可能

これまでの最⼤計測値︓IPv4ダウンロード:

6,593

Mbps, IPv6

_{ダウンロード:}

4,943

Mbps

IPv4, IPv6

_{の同時計測が可能（ユーザ同定で⽐較評価可能）}

サーバサイドのパッシブ計測で計測情報を補間

エージェントレスでWebブラウザのみで計測

計測項⽬と推定可能情報

計測項⽬

クライアントIPアドレス、通信の実効帯域、通信遅延、ジッタ、パケットロス率、

パケットのメタ情報（MSS, TTL 等）、Network Information API情報、User Agent情報

推定可能情報

ISP

_{の判定、IPv4とIPv6のアドレス割当関係、モバイル接続判定、ISP内でのランキング、}

ISP

_{間の⽐較評価、優先利⽤されるIPバージョン、クライアントの種別（OS, ブラウザ）、}

ISP

_{の接続種別（ネイティブ, PPPoE, IPoE 等）、ローカル接続種別（Wi-Fi, Cellular 等）}

(14)

(15)

インターネット環境評価

評価に⽤いたデータ

6 ⽉に更新したiNoniusスピードテストサイトで収集したデータ

期間︓2020.06.03 〜 2020.10.30

IPv4, IPv6

_{の双⽅で計測されたデータのみ利⽤}

IPv4

_{とIPv6の⽐較評価を実施するため}

計測データ総数︓約 16,000 レコード

ユーザ毎の計測数に関して

同⼀端末からの複数計測はIPv4アドレスを基準に判定

ユーザ計測総数︓約 3,800 レコード

（NATルータ配下のユーザは同⼀視している点が課題）

ユーザ毎の計測値は平均値として算出

(16)

IPv4

とIPv6のスループット⽐較（全データ利⽤）

0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 IPv4 IPv6

Download Throughput (〜7Gbps)

0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 IPv4 IPv6

Upload Throughput (〜7Gbps)

これまでの最⼤計測値

IPv6: 4,943 Mbps

IPv4: 6,593 Mbps

(17)

0 200 400 600 800 1000 0 200 400 600 800 1000 IPv4 IPv6

Upload Throughput (〜1100Mbps)

0 200 400 600 800 1000 0 200 400 600 800 1000 IPv4 IPv6

Download Throughput (〜1100Mbps)

IPv4

とIPv6のスループット⽐較（全データ利⽤）

(18)

0 50 100 150 200 0 50 100 150 200 IPv4 IPv6

Upload Througput (〜200Mbps)

0 50 100 150 200 0 50 100 150 200 IPv4 IPv6

Download Throughput (〜200Mbps)

IPv4

とIPv6のスループット⽐較（全データ利⽤）

(19)

デュアルスタック対応ユーザのスループット分布

スループット毎のユーザ分布（400Mbps以下のみ）

①100Mbps付近の計測結果が多い

→

マンションネットワーク（VDSL利⽤）等の影響と想定

②IPv4/IPv6アップロードで10Mbps未満のユーザを確認

→

モバイルユーザの計測結果（モバイルキャリアの提⽰アドレスレンジで判定）

0% 2% 4% 6% 8% 10% 12% 14% ~10 ~20 ~30 ~40 ~50 ~60 ~70 ~80 ~90 _~100 _~110 _~120 _~130 _~140 _~150 _~160 _~170 _~180 _~190 _~200 _~210 _~220 _~230 _~240 _~250 _~260 _~270 _~280 _~290 _~300 _~310 _~320 _~330 _~340 _~350 _~360 _~370 _~380 _~390 _~400 Co un ts Throughput (Mbps) IPv4 Download IPv4 Upload IPv6 Download IPv6 Upload

①

②

(20)

ネットワークタイプ毎のスループット評価

ユーザ接続環境毎の

スループット分布

MSS

_{値からユーザ接続環境を}

推定（値は平均値）

MSS

_{︓TCPセッションにおける}

最⼤セグメントサイズ

（カプセル化情報を推測可能）

傾向（IPv4）

IPoE

_{ユーザがPPPoEユーザより}

パフォーマンスが良い傾向

Native

IPoE

PPPoE

0 50 100 150 200 250 300 Upload (Mbp s)

IPv4 Throughput

(238.4 Mbps, 207.7 Mbps, 778 users) (176.0 Mbps, 186.1 Mbps, 931 users) (118.7 Mbps, 147.4 Mbps, 833 users)

MSS

IPv4

IPv6

Native:

1460

1440

IPoE:

1420

1440

PPPoE: 1414

1440

判断定義︓

(21)

ネットワークタイプ毎のスループット評価

0% 2% 4% 6% 8% 10% 12% 14% ~10 ~20 ~30 ~40 ~50 ~60 ~70 ~80 ~90_~100_~110_~120_~130 _~140 _~150_~160_~170_~180_~190 _~200 _~210 _~220_~230_~240_~250_~260 _~270 _~280_~290_~300_~310_~320 _~330 _~340 _~350_~360_~370_~380_~390 _~400 Co un ts Throughput (Mbps) IPoE PPPoE 0% 2% 4% 6% 8% 10% 12% 14% ~10 ~20 ~30 ~40 ~50 ~60 ~70 ~80 ~90_~100_~110_~120_~130 _~140 _~150_~160_~170_~180_~190 _~200 _~210 _~220_~230_~240_~250_~260 _~270 _~280_~290_~300_~310_~320 _~330 _~340 _~350_~360_~370_~380_~390 _~400 Co un ts Throughput (Mbps) IPoE PPPoE

IPv4ダウンロードスループットのユーザ分布

IPv4アップロードスループットのユーザ分布

PPPoEユーザのダウンロードに関して低いスループットの割合が⼤きい

(22)

時間帯によるスループット評価

0.0 50.0 100.0 150.0 200.0 250.0 300.0 350.0 400.0 00 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Thr oughut ( Mbp s) IPv4 Throughput Download (IPoE) Upload (IPoE) Download (PPPoE) Upload (PPPoE)

IPv4スループットの時間帯別

(23)

全体的な評価

IPv4 vs. IPv6

平均値ではなく中央値による⽐較

すべての観測結果においてIPv6が優位な結果

rtt

[ms]

[Mbps]

upload

download

[Mbps]

jitter

[ms]

IPv4

13.115

110.17

114.085

1.69

(24)

(

参考)モバイルネットワークの評価

4 ⼤モバイルキャリア⽐較

デュアルスタックの全計測で評価

*

_{同⼀ユーザの複数計測による偏りあり}

モバイルキャリアの判定︓公開IPアドレス情報を利⽤

課題

計測における環境情報（位置情報、電波強度など）との合わせた評価が今後必要

rtt

[ms]

[Mbps]

upload

download

[Mbps]

jitter

[ms]

IPv6 ready

モバイル全体

45.00

11.15

31.49

13.74 38.75%

docomo

44.50

12.04

53.36

11.26 13.97%

au

52.00

5.47

44.85

12.20 15.82%

softbank

34.00

11.32

37.80

10.21 48.99%

第 2 回インターネットトラヒック研究会 ネットワーク計測プロジェクトの紹介とインターネット環境評価の報告 北 善明 ( 東京 業 学 ) January 15, 2021

ネットワーク計測プロジェクトの紹介と

インターネット環境評価の報告

北⼝ 善明（東京⼯業⼤学）

January 15, 2021

本⽇の内容

SINDAN

プロジェクトの紹介

SINDAN: Simple Integrated Network Diagnosis And Notification

iNonius

プロジェクトの紹介

iNonius: Internet Nonius(

ノギス)

インターネット環境評価について

SINDAN

プロジェクトの背景と⽬的

ネットワーク運⽤におけるトラブル対策

イベントネットワーク、キャンパスネットワーク など

「つながらない」というクレーム

サーバ監視や外部接続監視では分からない問題

ユーザが被っている障害はユーザ側から確認が必要

階層的な計測でネットワーク障害を切り分けたい

ユーザ側の計測結果を的確に運⽤者に伝えたい

ユーザ視点における状態計測⼿法の確⽴

ネットワーク接続性記述⼿法の定義と標準化

「つながらない」場合の障害点例

物理的な接続性（リンクレイヤ）による障害

スイッチングハブの故障、無線区間の問題（電波⼲渉，認証の不具合）、

対外接続回線の障害 など

IP

的な疎通性（IPレイヤ）の障害

ユーザ端末のIPアドレス設定による問題、

IPv4/IPv6

アドレス変換装置における障害 など

名前解決における障害

DNS

レゾルバやDNSサーバ設定の不具合、IPv4/IPv6応答の不整合 など

アプリケーション動作の障害

セキュリティ製品の誤動作（フィルタ設定ミス，防御機構の誤検知）、

MTU

設定と断⽚化異常、Webサーバにおける障害 など

ネットワーク運⽤モデルと評価項⽬

ネットワーク運⽤モデル

IPv6

とIPv4ネットワークにおける差異例

グローバルアドレス利⽤，NAT利⽤環境

IPv4/IPv6

混在環境ネットワークにおける差異例

IPv6

ネイティブ，IPv6トンネリング，トランスレータ利⽤，デュアルスタック，

パラレルスタック

⾃動アドレス設定の差異例

DHCP

，SLAAC*，DHCPv6

ネットワーク障害の評価項⽬

階層モデルでネットワーク状態を整理

リンク状態，IPアドレス設定，名前解決，IP到達性 など

ウェブサービスなど実装依存部分への影響整理も考慮

計測階層モデル

1.

データリンク層

2.

インタフェース層

3.

ローカルネットワーク層

4.

グローバルネットワーク層

5.

名前解決層

6.

アプリケーション層

ユーザ環境からのネットワーク計測

評価ネットワーク

インターネット

定期的な計測

計測結果の集約

可視化

センサノードを⽤いた

定常的な計測による

ネットワーク接続性評価

第 2 回インターネットトラヒック研究会ネットワーク計測プロジェクトの紹介とインターネット環境評価の報告北善明 ( 東京業学 ) January 15, 2021

北⼝善明（東京⼯業⼤学）

_ノギス)

イベントネットワーク、キャンパスネットワークなど

対外接続回線の障害など

アドレス変換装置における障害など

_{レゾルバやDNSサーバ設定の不具合、IPv4/IPv6応答の不整合など}

_{設定と断⽚化異常、Webサーバにおける障害など}

_{混在環境ネットワークにおける差異例}

_{ネイティブ，IPv6トンネリング，トランスレータ利⽤，デュアルスタック，}

_{，SLAAC*，DHCPv6}

リンク状態，IPアドレス設定，名前解決，IP到達性など

_{データリンク層}

_{インタフェース層}

_{ローカルネットワーク層}

_{グローバルネットワーク層}

_{名前解決層}

_{アプリケーション層}

_{センサノードを⽤いた}

_{年より提供開始（IPv4, IPv6双⽅での計測）}

_{の隣に計測サーバを設置（⼤⼿町DC）}

_{に追加した特徴}

_{とIPv6の計測を}

取得 (RTT, MSS, ヘッダ情報など)