研究報告用MS-Wordテンプレートファイル

(1)

MPTCP における経路数とスループットの関係

徳永洸介

1

_下園幸一

2

_升屋正人

2

概要：広帯域高遅延ネットワークにおいては，複数の経路を用いる TCP の拡張である MPTCP を用いることでその

帯域幅を有効に利用できる．この時の経路数とTCP スループットの関係を実サーバ環境において調査した．経路は有

線LAN で構築した場合と無線 LAN で構築した場合で行った．有線 LAN 経路では疑似的に高遅延環境にするために

遅延とパケットロスを設定した．結果として，いずれの経路でもスループットは増加し，特に無線 LAN 経路で大き

く増加した．

キーワード：高速・広帯域通信方式，データ通信プロトコル，ネットワーク性能解析

Relationship between MPTCP paths and throughputs

KOUSUKE TOKUNAGA

1

_{KOICHI SHIMOZONO}

2

_{MASATO MASUYA}

2

Abstract: Multipath TCP, which enables a transport connection to operate across multiple paths simultaneously, is effective for

throughput improvement in high bandwidth-delay product networks. We investigate the relationship between MPTCP paths and throughputs in physical server environment. MPTCP throughput was measured on wired and wireless LAN paths, respectively. As for wired LAN paths, we emulated the delay and packet loss in order to simulate high bandwidth-delay product network. Consequently, MPTCP throughput was increased as the number of paths increases, especially on wireless LAN.

Keywords: High speed / broadband communication system, data communication protocol, network performance analysis

1. はじめに

コンピュータやネットワーク機器の間の通信には TCP （Transmission Control Protocol）が多く用いられている． TCP はコネクション型の通信により高い信頼性を実現しているが，その通信経路は単一（一本）である．このため，経路が遮断されてしまった場合は通信が続行できなくなってしまう．また，通信の単位であるウィンドウサイズには上限があるため，帯域幅を有効に使えないという問題もある．これらの問題を解決するものとして TCP の拡張である MPTCP（Multipath TCP）[1]が提案されている．MPTCP を用いることで複数経路を用いて TCP 通信を行えるようになり，冗長性の確保が保証される．これにより，いずれかの経路が通信不可になった場合でも他方の経路を用いて通信を続行することができる．また，複数の経路を用いることで TCP の時よりも多くのパケットを送信できることになり，広帯域・高遅延ネットワークにおいても帯域幅を有効に利用できるようになる．しかし，MPTCP の評価は未だ不十分であり，対応しているサービスはほとんどない．MPTCP の評価の例として，ネットワークシミュレータを用いたもの[2]やモバイル端末を用いたもの[3]があるが，実サーバ環境における評価の例はない．そこで本研究では，実サーバ環境において MPTCP を組 1 鹿児島大学大学院理工学研究科

Graduate School of Science and Engineering, Kagoshima University 2 鹿児島大学学術情報基盤センター

Computing and Communications Center, Kagoshima University

み込み，その効果を調べることにした．特に，経路数とTCP スループットの関係に注目し，有線LAN と無線 LAN の双方においてスループットを計測して，インターネット通信に有用であるかを評価した．

2. MPTCP について

MPTCP は複数の経路を用いた通信を可能にする TCP の拡張であり，プロトコル階層としてはTCP の上位に位置する（図1）．MPTCP を用いることで，経路数の増加による冗長性の保証と，送信パケット数の増加によるTCP スループットの増加が見込まれる．MPTCP を用いた通信を行うには，通信を行うホストの両方でMPTCP の組み込みが必要であり，一方にMPTCP が組み込まれていない場合は，通常のTCP 通信となる．図2-1 MPTCP におけるプロトコル階層図 Figure 2-1 MPTCP protocol hierarchical diagram

MPTCP は Linux カーネルに実装されており，様々なディストリビューションで利用可能である[4]．MPTCP の実用

(2)

例として，Apple 社の iOS が，Siri 機能のサーバやモバイル回線とWi-Fi 回線のマルチパス通信に使用しているとされている[5]が，詳細は公表されていない． 2.1 MPTCP の順序制御 TCP 通信においては，データはパケットに分割されて送受信される．送信側はデータをパケットへと分割し，受信側は受信したパケットを一つ一つ統合することで元データを組み立てる．パケットに付けられたシーケンス番号により，パケットの順序が定まり，パケットロスが起こった場合にどのパケットが喪失したかを判定できる． MPTCP を用いた通信においては，データ受信側で各経路に分配されたデータを組み立てる必要がある．この際，TCP と同様にシーケンス番号を元にパケットの統合が行われる．受信されたパケットは一旦受信側のバッファに保留され，正しいシーケンス番号順に上位層へデータが渡される．シーケンス番号が順序通りになっていない場合は，空き番号のパケットが受信されるまでバッファ内に保留され続ける．この順序制御の機能により，MPTCP では追加の遅延時間が生じることになる． 2.2 MPTCP のコネクション TCP 通信の開始にあたっては，通信ホスト同士が調整を行い，受信側が負担にならないように一度に送信するデータ量を設定したり，使用される通信経路の状態を把握したりする．これにより効率の良い通信を行う．これをコネクションの確立という．コネクションを確立するための方法としては，3 ウェイ・ハンドシェイクが用いられる．まず，通信を要求する通信元が通信先へ向けて確立要求（SYN）を送信する(1)．SYN を受信した通信先は，通信元に確認応答（ACK）と共に SYN（SYN+ACK）を返信する(2)．それらを受信した通信元は通信先に ACK を返信する(3)．これら(1)～(3)の 3 つの手順を踏むことによりコネクションが確立される． MPTCP で通信を行う場合にも 3 ウェイ・ハンドシェイクによるコネクションが確立される．複数の経路で通信を行うため，経路数分のコネクションを確立する必要がある．図2 図2-2 MPTCP におけるコネクション確立 Figure 2-2 MPTCP connection establishment

に経路数が2 本の場合のコネクション確立の手順を示す．この場合，メインフロー（1 本目の経路），サブフロー（2 本目の経路）の順に通信先とのコネクション確立を行うことになる．なお，メインフローの 3 ウェイ・ハンドシェイクの際にはSYN と ACK に加えて MP_CAPABLE オプションが同時に付与される．MP_CAPABLE オプションは，通信先にMPTCP が組み込まれているかを確認するためのものである．MP_CAPABLE が通信先からの ACK と SYN の返信に付与されている場合は MPTCP 通信，付与されていない場合は通常のTCP 通信が行われる．MP_CAPABLE を受信した場合は MPTCP 通信が可能であるということであるため，次にサブフローの3 ウェイ・ハンドシェイクが開始される．サブフローにおいては，MPTCP 通信に参加するためのオプションであるMP_JOIN が付与されることになる．

3. 評価方法

本研究では，実サーバ環境にMPTCP を導入し，経路が有線LAN と無線 LAN の双方の場合においてスループットを計測して評価を行う． 3.1 MPTCP スループット検証環境 スループットの計測にはMPTCP を組み込んだ 2 台の実サーバ（HP ProLiant MicroServer Gen8，Pentium G2020T 2.5 GHz，4 GB メモリ）を用いた．OS は Debian GNU/Linux 9 （stretch）である．通信先となるサーバ（server）には， HTTP サーバ（apache2）と FTP サーバ（vsftpd）を導入し， dd コマンドにより作成した 1 MB，10 MB，100 MB のサイズのランダムバイナリファイルを置いた．また，通信元となるサーバ（client）において curl を用いてそれぞれのファイルダウンロード時間を測定することで TCP スループットを求めた．疑似的に高遅延環境を実現するため， server と client の間に Debian GNU/Linux 9（stretch）を OS とし，1000Base-T ポートを 10 ポート搭載したサーバ（DELL PowerEdge SC1430，Xeon 2.33 GHz，4 GB メモリ）をルータ（router）として設置し，netem を用いて遅延とパケットロスを設定した．3 台のサーバによる検証環境を図3 に示す．

図3-1 MPTCP スループット検証環境 Figure 3-1 MPTCP throughput evaluation environment

MPTCP における複数経路は同一物理リンク上であっても設けることはできるが，品質の異なる経路における評価

(3)

も可能とするため，client と router の間を複数の物理リンクで接続し，それぞれのリンク上で MPTCP による複数経路を実現することにした． (1) 経路が有線 LAN の場合 経路に有線LAN を用いた場合の検証のため，client と router の間に 1～6 本の 1000Base-T による物理リンクを設けた．疑似的に高遅延環境とするため，各経路に遅延とパケットロスを設定し，それぞれの値を変更しながらスループットを測定した． (2) 経路が無線 LAN の場合 経路に無線LAN を用いた場合の検証のため，client と router の間に 4 組 8 台の無線 LAN ブリッジ（BUFFALO WLA2-G54C）を設置し，1～4 本の無線 LAN 経路を実現した．BUFFALO WLA2-G54C では IEEE802.11g（2.4 GHz 帯）を使用し，チャネル1，5，9，13 を用い，干渉が小さくなるように各ブリッジ間を1 m 空けて配置した（図 4）．無線 LAN による通信は，WAN 回線としてではなく，建物内の通信で用いられることが想定されるため， client や router で遅延の設定は行わない．図3-2 MPTCP スループット検証環境（無線 LAN） Figure 3-2 MPTCP throughput evaluation environment (wireless LAN) 3.2 MPTCP スループットの測定 TCP 通信（通信経路数 1 本）と MPTCP 通信（通信経路数2 本以上）において，それぞれのスループットを比較することでMPTCP による TCP スループット向上の効果を評価する．スループットをT Mbps，client で curl を用いてダウンロードしたファイルサイズを F MB，ダウンロード 所要時間を t 秒として以下の式でスループットを求めた． T = 𝐹 𝑡× 8 [Mbps] HTTP サーバ，FTP サーバそれぞれについて 3 通りのファイルサイズごとに 10 回ファイルダウンロードを行い，経路数1 本の時のスループットの中央値を m1，経路数n 本におけるスループットの中央値をmnとして，経路数n 本におけるスループット増減率R %を以下の式を用いて求めた． R = 𝑚𝑛− 𝑚1 𝑚1 × 100 [%]

4. 有線 LAN 経路における評価

有線LAN 経路における測定は，client と router 間に遅延およびパケットロスを設定しない場合，遅延のみを設定した場合，パケットロスのみを設定した場合，遅延およびパケットロスの両方を設定した場合の4 通りで行った． 4.1 遅延およびパケットロスを設定しない場合 遅延およびパケットロスの設定を各経路に行なわない場合のスループットの中央値を表4-1 に，表 4-1 から求めたスループット増減率を図4-1 に示す． HTTP サーバからダウンロードするファイルのサイズが1 MB，10 MB，100 MB のいずれにおいてもリンク速度である1000 Mbps に近いスループットであり，スループット増加率は2 %未満である． FTP サーバからのダウンロードにおいては 1 MB，10 MB ではスループットは減少し，100 MB では経路数を増やしてもスループットは変わらなかった．広帯域・低遅延環境では，経路数が1 本の TCP において帯域を使い切ることができており，MPTCP を用いることで経路の冗長化を図ることはできるが，スループットは増加しないことがわかった．表4-1 遅延及びパケットロスを設定しない場合のスループット中央値

Table 4-1 Medium throughput (no delay, no packet loss)

図4-1 遅延及びパケットロスを設定しない場合のスループットの増減率（上：HTTP，下：FTP） Figure 4-1 Throughput change rate (no delay, no packet loss)

（Upper：HTTP，Lower：FTP）

path1 path2 path3 path4 path5 path6 1MB 815.87 830.31 830.91 823.77 825.98 823.47 10MB 914.08 916.93 916.79 916.71 916.07 917.13 100MB 926.89 927.20 927.28 927.25 927.18 927.22 1MB 112.41 108.39 109.33 115.00 108.68 104.38 10MB 605.27 587.16 602.61 596.65 594.44 611.90 100MB 891.74 891.56 893.92 895.02 892.52 891.44 （単位：Mbps） HTTP FTP

(4)

4.2 遅延のみを設定した場合

遅延の設定を router で行うことで client と router の間の各経路の往復遅延時間が25 ms となるようにした場合のスループットの中央値を表 4-2 に，50 ms となるようにした場合のスループットの中央値を表4-3 に示す．また，表4-2，表 4-3 から求めたスループット増減率を図 4-2，図 4-3 に示す．ここで，往復遅延時間として設定した 25 ms は鹿児島から東京までの通信を行った際のおよその往復遅延時間，50 ms は沖縄から東京までの通信を行った際のおよその往復遅延時間を想定した値である．各経路に往復遅延時間25 ms を設定した場合，HTTP サーバからダウンロードすると，1 MB，10 MB，100 MB いずれのファイルサイズにおいても経路数が2 本の場合はスループットの増加が見られなかった．一方，経路数が3 本を超えると経路数を増やしていくにつれスループットが増加した．FTP サーバからのダウンロードでも経路数が 3 本を超えるとスループットが増加した．なお，ダウンロードするファイルのサイズが1 MB，10 MB の結果の方が 100 MB よ表4-2 往復遅延時間 25 ms の場合のスループット中央値 Table 4-2 Median of throughput (25 ms delay, no packet loss)

図4-2 往復遅延時間 25 ms の場合のスループット増減率（上：HTTP，下：FTP）

Figure 4-2 Throughput change rate (25 ms delay, no packet loss) （Upper：HTTP，Lower：FTP）りスループットの増加率は高くなった．また，1 MB のファイルダウンロードの場合，経路数が4 本を超えると経路数を増やしてもスループットが増加しなくなる．ダウンロードするファイルサイズが小さい場合，MPTCP によるスループット増加効果が順序制御などMPTCP のオーバーヘッドにより打ち消されてしまうためと考えられる．各経路に往復遅延時間50 ms を設定した場合，往復遅延時間25 ms を設定した場合と同様に経路数が 3 本を超えると経路数を増やしていくにつれスループットが増加した．また，100 MB のファイルをダウンロードした時の結果は往復遅延時間を25 ms に設定した場合よりもスループット増加率が大きい． FTP サーバからのダウンロードにおいては1 MB では経路数が 2 本を超えた時，10 MB，100 MB では経路数が3 本を超えた時にスループットが増加する．いずれの場合も，往復遅延時間25 ms の場合よりもスループット増加率が大きい．これにより，広帯域・高遅延環境ではMPTCP を用いることでスループットが増加することがわかった．表4-3 往復遅延時間 50 ms の場合のスループット中央値 Table 4-3 Median of throughput (50 ms delay, no packet loss)

図4-3 往復遅延時間 50 ms の場合のスループット増減率（上：HTTP，下：FTP）

Figure 4-3 Throughput change rate (50 ms delay, no packet loss) （Upper：HTTP，Lower：FTP）

(5)

4.3 パケットロスのみを設定した場合 パケットロスの設定を router で行うことで各経路のパケットロス率が1 %となるようにした場合のスループットの中央値を表4-4 に，表 4-4 から求めたスループット増減率を図4-4 に示す．HTTP サーバからダウンロードすると 1 MB，10 MB，100 MB いずれのファイルサイズにおいても経路の数を増やしていくことでスループットは増加した．遅延のみを設定した場合とは異なり，経路の数が2 本の場合でもスループットは増加した．FTP サーバからのダウンロードにおいては1 MB ではスループットは増加しなかったが，10 MB，100 MB では HTTP サーバからのダウンロードと同様に経路の数が2 本の場合からスループットは増加した． FTP サーバの 1 MB を除きスループットは増加したが，経路の数が3 本を超えるとスループット増減率に変化は見られなかった．パケットロスが起きると喪失したパケットのシーケンス番号以降のものが全て再送されるが，経路の数を増やすことでパケットが分散され，再送の対象となるパケットの数が少なくなってスループットが増加したものと考えられる．パケットロスが生じる回線でもMPTCP を用いることでスループットが増加することがわかった．表4-4 パケットロス 1 %の場合のスループット中央値 Table 4-4 Mediam of throughput (no delay, 1 % packet loss)

図4-4 パケットロス 1 %の場合のスループット増減率（上：HTTP，下：FTP）

Figure 4-4 Throughput change rate (no delay, 1 % packet loss) （Upper：HTTP，Lower：FTP） 4.4 遅延およびパケットロスを両方設定した場合 遅延およびパケットロスの設定を router で行うことで client と router の間の各経路の往復遅延時間が 25 ms，パケットロス率が5 %となるようにした場合のスループットの中央値を表4-5 に，表 4-5 から求めたスループット増減率を図4-5 に示す．HTTP サーバからダウンロードすると，1 MB，10 MB，100 MB のいずれのファイルサイズにおいても経路の数を増やすことでスループットは増加した．遅延またはパケットロスのいずれか一方のみを設定した場合とは異なり，スループットは経路数に比例して直線的に増加する．FTP サーバからのダウンロードでは，1 MB では増加率は低いが，10 MB，100 MB では HTTP サーバからのダウンロード時と同様に経路の数を増やすことで直線的にスループットが増加した．経路の数が6 本の時の増加率は 496 %，スループットは 5.96 倍となった．このように，遅延とパケットロスが共に発生する場合のMPTCP によるスループット増加が最も大きい．インターネットでは，遅延とパケットロスの双方が起こりうるため，MPTCP を用いることで高いスループットを得ることができることになる．表4-5 遅延 25 ms，パケットロス 5 %の場合のスループット中央値

Table 4-5 Median of throughput (25 ms delay, 5 % packet loss)

図4-5 遅延 25 ms，パケットロス 5 %の場合のスループット増減率（上：HTTP，下：FTP）

Figure 4-5 Throughput change rate (25 ms delay, 5 % loss) （Upper：HTTP，Lower：FTP）

path1 path2 path3 path4 path5 path6

1MB 2.56 4.90 7.91 9.86 12.14 13.72 10MB 2.38 4.80 7.18 9.66 11.36 13.80 100MB 2.39 4.83 7.10 9.38 11.58 13.99 1MB 2.26 4.63 4.80 6.41 6.86 8.88 10MB 2.36 4.59 6.69 9.33 11.39 12.83 100MB 2.35 4.83 7.09 9.40 11.47 14.02 （単位：Mbps） HTTP FTP

(6)

5. 無線 LAN 経路における評価

無線LAN 経路を client と router の間に構築してファイルダウンロードを行った場合のスループットの中央値を表5 に，表 5 から求めたスループット増減率を図 5 に示す． HTTP サーバからダウンロードすると，1 MB，10 MB，100 MB のいずれのファイルサイズにおいても経路の数を増やすことでスループットは増加した．FTP サーバからのダウンロードでも，経路の数を増やすとスループットが増加した．特に，経路の数が3 本を超えるとスループットが大きく増加する．無線 LAN 経路では遅延とパケットロスは設定していないが，無線LAN は有線 LAN に比べれば遅延が大きく，また，パケットロスも大きいため再送が多く発生する．このため，遅延とパケットロスの両方を設定した有線 LAN の場合と似た傾向になったものと考えられる．経路数が4 本で 4 倍以上のスループットとなっており，遅延 25 ms，パケットロス 5 %の有線 LAN 経路より高い増加率となった．MPTCP を用いて複数経路を設けることで，スループットが増加することがわかった．表5 無線 LAN 経路におけるスループットの中央値 Table 5 Median of throughput (wireless LAN)

図5 無線 LAN 経路におけるスループット増減率（上：HTTP，下：FTP）

Figure 5 Throughput change rate (wireless LAN) （Upper：HTTP，Lower：FTP）

6. まとめ

本研究では，実サーバ環境にMPTCP を組み込み，経路の数とTCP スループットの関係を調べた．遅延とパケットロスを設定しない場合を除き，有線LAN，無線 LAN といった経路の違いや HTTP，FTP といった通信プロトコルに関わらず，MPTCP を用いて経路の数を増やすことで TCP スループットは増加する．有線LAN 経路では，遅延のみを設定した場合，経路の数が3 本を超えた時にスループットは増加した．パケットロスのみを設定した場合では，経路の数を2 本に増やした時からスループットは増加した．このことから，MPTCP はパケットロスがある回線でのスループット向上効果がより大きいと考えられる．遅延およびパケットロスを両方設定した場合，遅延とパケットロスのどちらか一方を設定した場合よりも増加率は高くなった．無線 LAN 経路では，遅延やパケットロスを設定しない場合でも，経路の数が3 本を超えるとスループットは大きく増加した．広帯域・高遅延ネットワークにおいて帯域が使い切れない問題の解消に加え，無線通信において複数経路を設けることでスループットの向上を実現する方法として，MPTCP が有効であると思われる．ただし，無線 LAN 経路における MPTCP のスループット増加効果については，通信規格との関係や通信距離など，さまざまな条件下でさらに詳しく調べる必要がある．

参考文献

[1] RFC6824 – TCP Extensions for Multipath Operation with Multiple Addresses, https://tools.ietf.org/html/rfc6824 [2] 鹿間敏弘，“マルチパスTCP の順序制御に関する性能評価”，福井工業大学研究紀要，Vol. 46，pp. 8-17，2016． [3] 小坂良太，“スマートフォンが持つ複数の無線回線の帯域集約手法”，東京大学大学院情報理工学系研究科電子情報学専攻修士論文，pp. 1-47，2013．

[4] Multipath TCP – Linux Kernel implementation, http://multipath-tcp.org/

[5] Multipath TCP を使って iOS 用のバックアップ接続を確立する – Apple Support, https://support.apple.com/ja-jp/HT201373

path1 path2 path3 path4 1MB 20.01 25.03 43.27 83.45 10MB 20.87 27.25 57.92 89.44 100MB 21.90 28.88 49.18 89.64 1MB 16.97 21.81 33.57 46.95 10MB 21.41 27.57 53.93 85.85 100MB 21.43 28.57 59.41 94.56 （単位：Mbps） HTTP FTP