横浜国立大学におけるネットワークトラフィック監視
Network Traffic Monitoring in Yokohama National University
志村 俊也
Toshiya Shimura
横浜国立大学 情報基盤センター
Information Technology Service Center, Yokohama National University
概要
ネットワークトラフィック監視はネットワーク運用管理の基本業務の１つである。本学では、MRTG と RRDtool を利用し、学内各所のネットワークトラフィックを常時監視している。監視は 5 分平均の大局的な トラフィックを MRTG で行い、5 秒平均の瞬間(短時間平均)トラフィックを RRDtool で行っている。本稿で は、学内の代表的な 3 つの監視ポイントにおける、5 分平均と 5 秒平均それぞれで得られたトラフィックの 特徴について報告する。キーワード
ネットワークトラフィック監視, MRTG, RRDtool1. はじめに
学内ネットワークのトラフィック監視はネットワーク 運用管理の基本業務の１つである。ネットワークトラフ ィックの振舞いを常時把握することにより、ネットワー ク異常・障害・不正利用・不正通信の検知、及びその発 生箇所・原因特定を速やかに行うことができる。このた め、本学では、学内各箇所のネットワークトラフィック を常時監視している。監視ポイント総数は 1141 箇所であ り、学内各建物のネットワークトラフィックに関しては 各フロアまでの送受信トラフィックを、サービスサーバ 群に関しては、各サーバの送受信トラフィックを監視し ている。 トラフィック監視に利用しているのは、フリーソフトウェアの Multi Router Traffic Grapher (MRTG) と Round Robin Database Tool (RRDtool ) である。 MRTG は、5 分 平均のトラフィックを1 ピクセルとして過去400ピクセ ル分(33 時間 20 分) のトラフィックを 1 つのグラフとし て可視化するソフトであり、学内各所のネットワークト ラフィックの約 1 日分の振舞いを一目で把握することが できる。このため、ネットワーク異常・障害・不正利用・ 不正通信の検知、及びその発生箇所・原因特定を行う上 で、この MRTG で得られた 5 分平均のグラフが非常に役 に立つ。 RRDtool もMRTG同様にトラフィックの時間的な推移 を１つのグラフとして可視化するソフトである。 RRDtool にはMRTGが持つグラフ自動作成機能は搭載さ れていないので、利用者側でグラフ作成スクリプトを作 成しなくてはならないが、取得するトラフィックの平均 時間を 1 秒まで下げることができるという利点がある。 学術情報処理研究 No.15 2011
短くなってしまう。このため、本学では 5 秒平均の値を 1 ピクセルとして、過去 800 ピクセル分(約 1 時間) のト ラフィックを 1 つのグラフとして表示するように設定し ている。 本稿では、最重要監視ポイントの内、代表的な 3 箇所 を例に挙げて、MRTG (5 分平均)と RRDtool (5 秒平均)そ れぞれで監視したトラフィックの特徴について報告する。
2. トラフィック
本稿で紹介するトラフィック監視ポイントのネットワ ーク上の配置を図-1 に示す。 SINET ノード機器 本学側 SINET接続用 レイヤ3スイッチ 事務系 シンクライアント サーバ群 収容スイッチ 学内向けサービス サーバ群 収容スイッチ≈
コアスイッチ 図-1 本稿で紹介する監視ポイント ① ② ③ 図-1 中の◎で示した箇所、具体的には、 ① SINET ノード機器本学側 SINET 接続用レ イヤ 3 スイッチ ② コアスイッチ 事務系シンクライアントサー バ群収容スイッチ ③ コアスイッチ 学内向けサービスサーバ群 収容スイッチ の 3 箇所のトラフィックの特徴を以降の章で説明する。 直接 1000BASE-T で接続することが可能となっている。 図-2 は、『SINET ノード機器 本学側 SINET 接続用 レイヤ 3 スイッチ』間のトラフィックである。上が 5 分 平均(MRTG) 、下が 5 秒平均(RRDtool) のトラフィック を示している。5 分平均のトラフィックは 2011 年 7 月 19 日 23 時 ～7 月 21 日午前 9 時のものである。5 秒平均に よるトラフィックは、 上記の時間帯の 7 月 20 日 15 時 10 分 ～ 16 時 10 分の間の詳細トラフィックを示してい る。 グラフより、学内への受信トラフィックが学外への 送信トラフィックよりも圧倒的に多いのがわかる。これ は、通信の大部分が ウェブアクセスによる学外から学内 へのデータ・コンテンツのダウンロードであることを示 している。学内への受信トラフィック量は、午前 6 時前 後が最少であり、その後、時間とともに増加していき、 12～17 時にかけて最大となり、その後次第に減少すると いう振る舞いとなっている。教職員・学生が学内で行う 各種業務（教育・研究・事務）とほぼ同じリズムでトラ フィックが増減しているのがわかる。 MRTG(5 分平均) による監視では、トラフィックの最大値は 28MB/s (224Mbps)程度であるが 、RRDtool (5 秒平均)による監視 では、それを上回る 40～50MB/s (320～400Mbps)が計測 されており、SINET との接続帯域(1Gbps) が有効に活用 されていることがRRDtool によって明確に示されている。 2.2. コアスイッチ 事務系シンクラ イアントサーバ群収容スイッチ 間のトラ フィック 本学の事務系職員用 PC の大部分は、ネットブート型 シンクライアント PC である。シンクライアント PC の総 数は 400 台であり、 事務局庁舎、学務部庁舎、各部局の 事務棟など学内各所に配置されている。ネットワーク的 には、24bit のグローバルサブネット 3 個を使用し、ブ ートサーバと PC を同一サブネットに収容し、ブートサ ーバPC 間通信はルーティングせずに行なえる構成としている。PC400 台の内 239 台は、毎起動時にブート サーバから OS のイメージ配信を受ける標準型ネットブ ートであるが、残り 161 台は、初回のイメージ配信を受 けた後、利用したイメージを PC 側の内蔵 HDD にキャッ シュし、2 回目以降の起動は差分イメージだけが配信さ れる ReadCache 型ネットブートである。ブートサーバ群 は、標準型 6 台と ReadCache 型 4 台で構成されている。 図-3 は標準型ネットブートのサーバ群 6 台が収容され ている『シンクライアントサーバ群収容スイッチ コアスイッチ』間のトラフィックを示す。上が 5 分平均 (MRTG)、下が 5 秒平均 (RRDtool) のグラフである。5 分平均のトラフィックは、2011 年 7 月 13 日 午前 6 時 ～ 7 月 14 日 15 時 のものである。5 秒平均のトラフィック は、上記の時間帯の 7 月 14 日 午前 8 時 05 分～9 時 05 分の詳細トラフィックを示している。5 分平均のグラフ からわかるように、事務系職員が出勤する午前 8 時 30 分前後に『収容スイッチ コアスイッチ』に対して非 常に多くのトラフィックが出ている。これは、出勤した 事務系職員が、自身の利用する PC を次々と起動し、ブ ートサーバ群から集中的に OS イメージの配信が行われ るためである（配信されるイメージは PC1 台あたり約 50MB）。ブートサーバ群からのトラフィックの最大値は、 MRTG の 5 分平均では約 56MB/s (448Mbps) 程度である が、RRDtoolによる5秒平均値では、約110MB/s (880Mbps) まで達しており、帯域上限値である 1Gbps 近くまで利用 されていることがわかる。なお『コアスイッチ収容ス イッチ』方向のトラフィックは『収容スイッチ コア スイッチ』のトラフィックに比べて非常に小さいため、 グラフ上には表れていない。 2.3. コアスイッチ 学内向けサービ スサーバ群収容スイッチ間のトラフィック 学内向けサービスサーバ群収容スイッチ配下には、全 学教職員・学生(約 13,000 人)を対象とした各種サービス 提供サーバ群が接続されている。具体的には、DNS サー バ 4 台、認証サーバ(Active Directory, LDAP, Radius ) 4 台 、 図-2 『SINET ノード機器 本学側 SINET 接続用レイヤ 3 スイッチ』間のトラフィック。 上図が 5 分平均 (MRTG) 、下図が 5 秒平均 (RRDtool) のトラフィックを示す。 SINET 側 (学外) 本学側への トラフィック（受信トラフィック） 本学側 SINET 側 (学外) への トラフィック（送信トラフィック） 学術情報処理研究 No.15 2011
メールサーバ 1 台、メール中継サーバ(学外から配信さ れてくるメールを一旦受信し、メールサーバに受け渡す サーバ)1 台、ウェブメールサーバ 1 台 、メーリングリ ストサーバ 1 台である。 図-4 に示すのは、『コアスイッチ 同サーバ群収容 スイッチ』間のトラフィックである。上が 5 分平均 (MRTG)、下が 5 秒平均(RRDtool)のグラフである。MRTG のトラフィックは、2011 年 7 月 25 日午前 4 時 30 分～7 月 26 日 13 時 50 分の間のトラフィックである。RRDtool によるトラフィックは、上記の時間帯の 7 月 26 日午後 12 時 45 分～13 時 45 分の間の詳細トラフィックを示し ている。MRTG(5 分平均)で計測した『サーバ群収容スイ ッチ コアスイッチ』のトラフィックの振舞いとして は、午前 2 時～6 時の間は量的には非常に少なく、午前 6 時以降から徐々に増加し、業務時間帯である午前 9 時～ 18 時の間は、平均して 500 kB/s (4Mbps) 前後のほぼフラ ットな形状となり、その後徐々減少するという特徴を示 している。一方、RRDtool (5 秒平均)で計測した業務時間 帯のトラフィックでは、1～2MB/s (8～16Mbps) 程度のシ ョット状のトラフィックが多数計測されており、 MRTG(5 分平均)によって表示されているフラット形状 とは様相が異なっていることがわかる。 MRTG(5 分平均)で計測した『サーバ群収容スイッチ コアスイッチ』方向のトラフィックの内訳は、DNS サー バの寄与が 4 台で 30kB/s 程度、 メーリングリストサー バの寄与が 10kB/s 程度であり、残りの大部分がメールサ ーバとウェブメールサーバによるものである。認証サー バ 4 台の寄与は無視できるほど小さい。メール中継サー バは、メールサーバに対する学外からの SMTP 接続のゲ ートウェイサーバとして機能するため、『サーバ群収容ス イッチコアスイッチ』へのトラフィックには寄与しな い。 『コアスイッチサーバ群収容スイッチ』の業務時間 時間帯のトラフィックが概ね 300kB/s 程度であるのに対 して、『サーバ群収容スイッチ コアスイッチ』のトラ フィックが 500kB/s 程度となっているのは、『コアスイッ チ サーバ群収容スイッチ』の通信が、「学内 PC から メールサーバへの SMTP 接続」と「ウェブメールサーバ 図-3 『シンクライアントサーバ群収容スイッチ コアスイッチ』間のトラフィック。上図が 5 分平均 (MRTG) 、下図が 5 秒平均 (RRDtool) のトラフィックを示す。 向のトラフィックに比べて非常に小さいため、グラフ上には表れていない。
に対する HTTPS 経由でのメール送信」によるものが主 であるのに対して、『サーバ群収容スイッチ コアス イッチ』の通信は、学内 PC のウェブメールサーバに対 するウェブアクセスによって発生するウェブコンテンツ （ウェブメールサーバへのログイン画面、ログイン後の 受信メール一覧画面等）のダウンロードが主であること に起因する。本学では、事務系職員の場合、メールの送 受信はウェブメールを利用する決まりとなっている。学 生・教員の場合は、そのような制限はないが、それでも、 多くの利用者がウェブメールを利用している。このため、 業務時間帯のウェブメールサーバへのアクセスは大変多 く、ウェブメールサーバからウェブコンテンツが頻繁に ダウンロードされる。その結果として、5 分平均の MRTG のグラフにおいて、常時 500kB/s 程度のトラフィックが 計測されているのである。
