マルチメディア通信と分散処理ワークショップ平成6年10月
ネットワークトラフィック情報の自動収集&統計機構
北 橋 雅 子 *
事情報処理振興事業協会(
I
P
A
)
富士ゼロックス情報システム(株)より出向中 Emai
1
:
kita@stc勾
a.go.jp ネ ッ ト ワ ー ク の 利 用 状 況 を 把 揮 す る こ と は 、 ネ ッ ト ワ ー ク を 速 用 管 理 す る 上 で 是 非 必 要 なことである。しかし、 トラフイツク情報を収集し、統計処理をしてそれを評価するのは、 手 聞 が か か り 、 ま た 、 長 期 間 の 情 報 を 得 る た め に は 、 デ ィ ス ク 容 量 も 消 費 す る 。 そ こ で 、 な る べ く 自 動 的 に ト ラ フ イ ツ ク 情 報 を 収 集 し 、 一 定 時 間 ご と に 統 計 処 理 を 行 な っ て 、 統 計 結 果 だ け を 残 す よ う に す れ ば 、 長 期 間 に 渡 っ て ト ラ フ イ ツ ク に 関 す る 統 計 情 報 を 得 る こ と が で き、ディスクの消費も少なくてすむであろう。そのような機構を実現するために、 3つの デーモンを利用する方法を提案する。 3つ の デ ー モ ン と は 、 モ ニ タ ー デ ー モ ン(NMD)、 ロ ギ ングデーモン(LOOD)、 ス タ ッ ト デ ー モ ン(STATD)で あ る 。 こ れ ら は 複 数 の マ シ ン 上 に 分 散 し て 存 在 す る こ と が で き る 。 こ れ ら の デ ー モ ン の 仕 様 に つ い て 述 べ 、 さ ら に 、 現 在 、 こ れ を 実 験 運 用 し て い る の で 、 そ れ に つ い て 報 告 す るo1
.
はじめに
通 信 メ デ ィ ア を 流 れ る パ ケ ッ ト を モ ニ タ ー し て 、 そ の パ ケ ッ ト 数 や パ イ ト 数 を カ ウ ン ト す る 機 器 や ツ ー ル は 、 い ろ い ろ あ る 。 そ れ ら を 使 っ て 集 め ら れ た 情 報 は 、 そ の ネ ッ ト ワ ー ク の 運 用 方 針 に 従 っ て 、 あ る 項 目 ご と に 統 計 が 取 ら れ る 。 こ の 統 計 処 理 は 、 そ の 方 針 が 決 ま れ ば 、 一 定 期 間 、 定 期 的 に 行 わ れ な け れ ば な ら な い 。 し か し 、 情 報 収 集 機 構 と リ ン ク し て い な い た め に 、 こ れ に は か な り の 工 数 が か か る 場 合 が ほ と ん ど で あ る 。 そ こ で 、 統 計 処 理 を 先 送 り し よ う と す る と 、 収 集 し た 情 報 を ス ト ア し て お く た め に 莫 大 な デ ィ ス ク 要 領 を 必 要 と す る こ と に な るo こ の 問 題 を 解 決 す る た め に 、 情 報 収 集 機 構 と 統 計 機 構 を リ ン ク さ せ 、 あ る 程 度 、 自 動 的 に 統 計 処 理 を 行 う シ ス テ ム を 提 案 す る 。 こ のシステムは、 3つ の デ ー モ ン に よ っ て 構 成 される。2
.
3つのデーモン
3
つ の デ ー モ ン と は 、 ネ ッ ト ワ ー ク モ ニ タ リ ン グ デ ー モ ン(NMD)、 ロ ギ ン グ デ ー モ ン (LOOD)、 ス タ ッ ト デ ー モ ン(STATD)で あ る。図1に、これらの関係を示す。 NMDとLOODは 、 ア ー キ テ ク チ ャ 上 は 別 の ホ ス ト 上 に あ っ て も よ い が 、 現 在 の 実 装 で は 、 必 ず 同 一 ホ ス ト 上 に な け れ ば な ら な いoNMDと LOODは 、 モ ニ タ ー 情 報 の 必 要 な 各 セ グ メ ン ト ご と に ひ と つ ず つ イ ン ス ト ー ル さ れ る 必 要 が あ る 。 STATDは、 LOODか ら モ ニ タ ー 情 報 を 得 て 、 統 計 フ ァ イ ル を 作 成 するo 図 中 、 よ 位 ユ ー ザ と は 、 STATDを 起 動 し 、 作 成 さ れ た 統 計 フ ァ イ ル を 読 み 込 ん で 表 や グ ラ フ を 作 成 す る プ ロ グ ラ ム の こ と で あ る。 NMDとLOODは、 inetdに 登 録 き れ な け れ ばならない。 STATDの起動によって、 LOGDA network trafic information auto.collecting
&
statistics system by Masako Kitahashi*，
* Information・technologyPromotion Agency
，
JAPANWIS#1 ネットワーク#1 (注} LOGO ロギングデーモン WIS#2 統計データ等 ー(通信プロトコル STATO スタットデーモン W/S#3 NMO ネットワークモニタリングデーモン ネットワーク#2 Ethernet 図
3
つのデーモンの関係 が起動され、さらに、LOGD
は、NMD
を起 動 す る 。 ひ と つ のLOGD
は 、 複 数 のSTATD
を相手にすることができる。 ・ネットワークモニタリングデーモン(NMD)n
i
t
デ バ イ ス を 用 い て 、 イ ー サ ネ ッ ト を 流 れるパケットをモニターする。 ・ロギングデーモン (LOGD) ネ ッ ト ワ ー ク モ ニ タ リ ン グ デ ー モ ン か ら モ ニ タ リ ン グ デ ー タ を 取 得 し て1次 レ ベ ル の 統 計 処 理 を 行 い 、 そ の 結 果 を ス タ ッ ト デ ー モ ンに渡す。 1次 レ ベ ル の 統 計 処 理 と は 、 指 定 さ れ た 単 位 時 間 分 の モ ニ タ リ ン グ デ ー タ を 統 計することである。 ・スタットデーモン(STATD) ロギングデーモンから、 1次 レ ベ ル の 統 計 情 報 を 受 取 り 、 そ れ を フ ァ イ ル に 落 と す 。 さ らに、2
次 レ ベ ル 以 上 の 統 計 処 理 を 行 う 。 こ れ は 、 単 位 時 間 分 の 統 計 フ ァ イ ル が 、 あ る 時 間 分 に 達 し た ら 、 そ の 時 間 分 の 統 計 フ ァ イ ル を 作 成 す る も の で あ るo 1次 レ ベ ル の 統 計 フ ァ イ ル 、 あ る い は 、 低 次 レ ベ ル の 統 計 フ ァ イJレ を 読 み 込 ん で 、 よ り 大 き な 時 間 分 の 統 計 ファイルを作成する。3
.
統計処理パラメータ
時間パラメータは、STATD
超 勤 時 の コ マ ン ド 引 数 と し て 与 え ら れ 、 そ れ 以 外 の パ ラ メータはコンフイグファイルによって与・えら れるo 3.1時間パラメータ スタットタイム 統計情報を生成する単位時間(秒) スタットピリオド 統 計 処 理 の 開 始 か ら 、 終 了 ま で の 時 間(秒) (スタットタイムより大きな値) レ ベ ル ア ッ プ 処 理 を 指 定 し た 場 合 、 ス タ ッ ト タ イ ム の 値 は 、 そ の 値 よ り 大 き な レ ベ ル ア ッ プ 周 期 の 約 数 で な け れ ば な ら な い 。 た だし、最大のレベルアップ周期(
2
4
時間)以上 の 値 の 場 合 に は 任 意 の 値 が 指 定 で き る 。 レ ベ ル ア ッ プ 処 理 を 指 定 し な い 場 合 に は 、 ス タ ッ トタイムは任意の値を指定できる。3
.
2
プロトコルパラメータ 統 計 処 理 の 対 象 と す る レ イ ヤ お よ び プ ロ ト コルを指定するo3
.
3
アドレスパラメータ ア ド レ ス タ イ プ お よ び ア ド レ ス を 指 定 す るD こ こ で ア ド レ ス を 指 定 す る と 、 そ の ア ド レ ス を 送 受 信 先 と す る パ ケ ッ ト の み が 統 計 処理 の 対 象 と な るo ま た 、 こ の 時 、 ア ド レ ス フ ァ イ ル に は 、 こ こ で 指 定 さ れ た 順 番 に ア ド レスが書き込まれる。アドレスの指定がなけ れ ば 、 モ ニ タ ー し た 全 て の ア ド レ ス が 統 計 の 対 象 と な り 、 そ れ ら の ア ド レ ス は 、 出 現 順 に アドレスファイルに書き込まれる。
3
.
4
レベルアップ処理パラメータ レベルアップするかしないかを、パラメー タで指定することができる。レベルアップと は 、 低 次 レ ベ ル の 統 計 フ ァ イ ル を 読 み 込 ん で 、 よ り 大 き な 時 間 分 の 統 計 フ ァ イ ル を 作 成 することである。4
.
統計情報のファイル生成
STATD
は 、 リ モ ー ト ま た は ロ ー カ ル ホ ス ト上で動作するLOGD
か ら 、 統 計 情 報 を 取 得 して統計ファイJレを生成する。統計ファイル は 、 ス タ ッ ト タ イ ム で 指 定 さ れ た 時 間 ご と に 生成されるo この統計ファイルとは別に、アドレスファ イ ル が 生 成 さ れ る 。 ア ド レ ス フ ァ イ ル は 、STATDl
個 に つ き 、 ひ と つ 生 成 さ れ る 。 コ ン フ イ グ フ ァ イ ル の ア ド レ ス パ ラ メ ー タ で ア ド レスが指定されていない限り、モニターした アドレスが出現順に書き込まれるo4
.
1
J7ドレスファイル名 生 成 さ れ る フ ァ イ ル は 、 起 動 時 に 指 定 さ れ た 文 字 列 に 以 下 の 文 字 列 を 付 け 足 し た も の で ある。 ファイル拡張子s
a
d
r
例 え ば 、 ユ ー ザ が 指 定 し た 文 字 列 が J tl
o
g
"
である場合、l
o
g
.
s
a
d
r
となる。4
.
2
統計ファイル名 生 成 さ れ る フ ァ イ ル は 、 起 動 時 に 指 定 さ れ た 文 字 列 に 以 下 の 文 字 列 を 付 け 足 し た も の で ある。YYMMDD HHMMSS
Uo
r
1
1
から1
4
これは、西暦年月日、時分秒、統計レベルを 示している。 ファイJレ拡張子s
d
a
t
例 え ば 、 ユ ー ザ が 指 定 し た 文 字 列 が"
l
o
g
"
で あ る 場 合 、 ス タ ッ ト タ イ ム ご と に 生 成 さ れ る統計データファイル名は、log940102_034500_u.sdat
のようになる。5
.統計レベルアップ処理
STATD
は 、 レ ベ ル ア ッ プ 周 期 ご と に 、 複 数 の 統 計 フ ァ イ ル を ま と め て 、 上 位 の 統 計 フ ァ イ ル を 生 成 す る 。 統 計 レ ベ ル ア ッ プ 処 理 の 対 象 と な る フ ァ イ ル は 、 共 通 の ア ド レ ス ファイルを持つ統計ファイJレでなければなら ない。 上位の統計ファイルは、下位の統計ファイ ル の 各 項 目 を 合 計 し た 合 計 フ ァ イ ル と 、 下 位 の 統 計 フ ァ イ ル の 各 項 目 を く し 刺 し に し て 最 大 値 を ま と め た 最 大 フ ァ イ ル の 二 通 り で あ る 。 合 計 フ ァ イ ル は 、 単 位 時 間 ご と の 統 計 ファイルと同じデータ構造である。 5.1レベルアップ周期 原 則 と し て 以 下 の 周 期 で レ ベ ル ア ッ プ を 行 なう。 1分1
0
分 1時間 1日5
.
2
ファイル名 合計ファイルの拡張子は、統計データファ イルと同様"
.
s
d
a
t
"
である。 最 大 フ ァ イ ル の 拡 張 子 は 、"
.
s
m
a
x
"
で あ る。6
.
コンフィグ・ファイル
統 計 処 理 に 関 す る 各 種 の パ ラ メ ー タ を 格 納 す る テ キ ス ト フ ァ イ ル で あ る 。 フ ァ イ ル の 拡 張子は"
.
c
o
n
f
"
で あ る 。 各 行 は キ ー ワ ー ド 、 等 号、数値または文字列(予約語)からなる。 各 々 は ス ペ ー ス ま た は タ プ で 区 切 ら れ て い な け れ ば な ら な い 。 な お 、 空 行 ま た は 行 の 最 初 にシャープ記号のある行は無視する。表 1 キーワード一覧
keyword 説明 備考
level-up レベルアップ処理の実行 実行をするかしないかを指定(YES/NO) filter プロトコル・フィルター レイヤ、プロトコルを指定
(DE ETHERlN W IP/NW XNS) uppeトfilter 上位フィルター 上位プロトコル{値} option-filter オプション・フィルター IPでのでのみ使用{ポート番号) (値} address-type アドレス・タイプ 収集するアドレスのタイプ (ETHERNETJlNTERNET/NETWORK) address アドレス・フィJレター プロトコルに準じたアドレス値(値) netmask ネットワーク・マスク IPでのみ使用(値) 表 2 データリンク眉 項目
f
直 備 考 プロトコル・フィルター DL ETHER必須
上位フィルター タイプ・フィールドイ直 1個以上を指定 アドレス・タイプ ETHERNET必須
アドレス・フィルター 物理アドレス 0または複数個の指定(16進指定} 表3
ネットワーク眉 項目f
直 備考 プロトコル・フィルター N W IP/NW XNS必須
上位プロトコル・フィルター トランスポート・プロ 祖数個の指定が可能 トコル値 アドレス・タイプ INTERNET/NETWORK必須
アドレス・フィルター 論理アドレス 0または複数個の指定以下に、コンブイグファイルの例を示す。
#
# ー C
o
n
f
i
g
u
r
a
t
i
o
nF
i
1
e
-
-#
#
l
e
v
e
l
-
u
p
=
YES
1
NO
#
f
i
l
t
e
r
=
DL ETHER
N W XNS
N W IP
#
#
く くf
o
re
t
h
e
r
n
e
t
>
>
#
u
p
p
e
r
-
f
i
l
t
e
r
=
Ox0600
IOx0800
Ox0806/0xf
百T
#
く くf
o
r
x
n
s
>
>
#
u
p
p
e
r
-
f
i
l
t
e
r
=
11 4/5#
く くf
o
ri
p
>
>
#
u
p
p
e
r
-
f
i
l
t
e
r
=
11 6/17#
o
p
t
i
o
n
-
f
i
l
t
e
r
=
20/23/25#
#
a
d
d
r
e
s
s
-
t
y
p
e
=
ETHERNET
INTERNET
NETWORK
##
く くf
o
re
t
h
e
r
n
e
t
>
>
#
a
d
d
r
e
s
s
=
Ox0800200a
d2
a
l
#
く くf
o
r
x
n
s
>
>
#
a
d
d
r
e
s
s
=
O
x
0
0
0
0
0
0
8
0
/
0
x
0
8
0
0
3
7
0
0
d
c
b
l
#
-ne
七work
#
a
d
d
r
e
s
s
=
Ox00000082
#
く くf
o
r
i
p
>>
#
a
d
d
r
e
s
s
=
1
3
1.2
2
1
.
6
4
.
8
0
#
-
-
n
e
t
w
o
r
k
#
a
d
d
r
e
s
s
=
1
3
1.2
2
1
.
6
4
.
0
#netmask
=
2
5
5
.
2
5
5
.
6
4
.
0
# -一一一一一一一一一一一l
e
v
e
l
-
u
p
=
YES
f
i
l
t
e
r
=
N W .I
P
噌 A一 一
p
r
M
旬cn
Y 且 4 u・r
a v n y#
叩
#
TCP
u
p
p
e
r
-
f
i
l
t
e
r
=
6
o
p
t
i
o
n
-
f
i
l
t
e
r
=
23
o
p
もi
o
n
-
f
i
1t
e
r
=
20
o
p
t
i
o
n
-
f
i
l
t
e
r
=
2
1
o
p
t
i
o
n
-
f
i
l
t
e
r
=
25
o
p
t
i
o
n
-
f
i
l
t
e
r
=
4
3
o
p
t
i
o
n
-
f
i
l
t
e
r
=
6
3
o
p
もi
o
n
-
f
i
l
t
e
r
=
119
o
p
t
i
o
n
-
f
i
l
t
e
r
=
1
2
3
号 炉UDP
u
p
p
e
r
-
f
i
l
t
e
r
=
1
7
o
p
t
i
o
n
-
f
i
l
t
e
r
=
5
3
o
p
t
i
o
n
-
f
i
l
t
e
r
=
69
o
p
t
i
o
n
-
f
i
l
t
e
r
=
5
1
7
op
もi
o
n
-
f
i
l
t
e
r
=
2049
#
n
f
s
o
p
t
i
o
n
・f
i
l
t
e
r
=
620
a
d
d
r
e
s
s
-
t
y
p
e
=
INTERNET
この例では、I
P
パケットだけを収集し、I
P
上位プロトコルICMP
，
TCP
，
UDP
ごとに統 計 す る こ と に な っ て い る 。 さ ら に 、TCP
，
UDP
の場合は、ポート番号ごとに統計する。 ア ド レ ス フ ィ ル タ ー は 指 定 さ れ て い な い の で、検出したホストアドレスをF
国次アドレス ファイルに書き込み、それらのアドレスのマ トリックス上で、u
p
p
e
r
-
f
i
l
t
e
r
、o
p
t
i
o
n
-
f
i
l
t
e
r
ごとの統計値が統計ファイルに記録される。 すなわち、アドレスからアドレスへとのよう なパケットがどのくらい流れたか、が記録さ れるol
e
v
e
l
-
u
p
=
YES
となっているので、一定 時間ごとにレベルアップが行われる。7
.
実験運用
現 在 、 こ の シ ス テ ム は 、WIDE
東 京NOC
、および、IPA
で実験運用されている。 図2
・5
に、7
月のIPA
の 統 計 結 果 の 一 部 を 示 す 。 こ れ は 、 ス タ ッ ト デ ー モ ン の 上 位 ユ ー ザ として、IPANeMa(l)
を 利 用 し て 作 成 し た も のである。 毎日の1秒あたり平均バイト数を、I
P
上位 プロトコルごとに色分けして表示したグラフ を図2に 示 す 。 数 字 はI
P
上 位 プ ロ ト コ ル 番 号 である。 6、1
7
以外はほとんど存在しない。 す な わ ち 、TCP
，
UDP
が、IPA
のIP
トラ フ イ ツ ク の ほ と ん ど で あ る 。 1日 の ト ラ フイツクが最大なのは、7
月1
3
日である。こ の 日 の 1秒 あ た り の ト ラ フ イ ツ ク 平 均 は 、自 制0101・0ω目制 9010702五∞004 9010703:0∞004 9010704:00II0ω 9010705:0(同S例 制0706'000004 9崎0701:∞0004 宮崎Q700oo00ω 宮崎0709000004 9&07100ω1)04 g
・
071UIQOQ04 9&0712畳∞E制 9010713000自白 901071・臨調。" "0715尉)0004 羽田7160000ω 9&0717∞ωω 宮崎07100000ω 宮崎町内9∞ωa 9C01Zo:ooo004 ')407Z1.0∞
004 ')407ZZilOOOω 制01l3:COOO例 制白1Z~:C∞自白 書07Z50朗自信 072&:0∞由 9oI07UOOO004 9C07Z8oo畑M 9C07ltooa~ 9010730ω似M ')40731ω00ω 図2 旬。自 10000 ...~... 15000 ZOωO(Dyt・
s) 7月・1日ごとの平均トラフィック震
設
図4 7月-1か月受信平均 17533.42 bytes/secす な わ ち 、 140267.36bps で あ る 。 つ ま り 、 1.4%の 負 荷 で あ る o Ethernetは、 10%以 下 の 負 荷 で 利 用 す る の が 望ましいとされている{引が、これは、利用率 が 非 常 に 低 い 、 と 言 え る 。 ま た 、 週 末 の 利 用 率が極端に低いことがわかる。 図3~こ、どの時間帯に最大トラフイック が 発 生 し た か を グ ラ フ で 示 す 。 7月1日は、 6:00・7:00pmの ト ラ フ イ ツ ク が1日の最大と なっている。 7月4日は、 7:00・8:00pm、7月5 日は、 2:00・3:00pm、 と い う よ う に 、 最 大 を 記 録 す る 時 間 帯 に 規 則 性 は 見 ら れ な い 。 7月 13日の最大は、 9:00・10:00pmで、 216928.81 bytes/secす な わ ち 、 1735430.48bpsで 、 約 17%の負荷である。 どのホストからの送信が多いか、 また、 図3
7月・ 1日ごとの最大平均鴎
3
ー ・ 0:
自
国
E
間
一
一
ー
図5 7月・1か月送信平均 どのホストの受信が多いか、それぞれ、ホス ト ご と に 統 計 し て 、 そ のTOP10を グ ラ フ で 示したのが、図4
、図5
である。下の数字はホ ス ト の 織 別 番 号 で あ る 。 7月 の 全 受 信 ト ラ フイツク1秒 あ た り 平 均3170.34byteslsecの うち、ほとんどをTOP10の ホ ス ト で 占 め て いる。このセグメントには、約25台のホスト がつながっている。 7月の送信トラフイックが最も多いのは、 3番 の ホ ス ト で あ る 。 こ れ は 、 こ の ホ ス ト が 何 ら か の サ ー ビ ス を 提 供 し て い る た め と 考 え られるo8
.
おわりに
実 験 運 用 の 結 果 、 さ ま ざ ま の 問 題 点 が 明 らかになった。まず、データの信頼性の問題があるo1時 間 分 の 統 計 フ ァ イ ル を 作 成 す る ときに、だいたい、
