モニタリング実験

前節で生成したトラヒックをモニタリングする実験を行った．提案手法では，システム は管理者が示すポリシーに基づいてネットワークの状態を自動で分析し，管理者が自動分 析結果を評価してシステムにフィードバックする．本節では，この相互作用により目視モ ニタリングが効率的に実施される事を示す．

(1) 実験の概要

本実験では，表5.6が示す組織種別によるポリシーを用いた．このポリシーのルータ(0

〜8)は表5.7の (1)安定パターン のルータである．このポリシーは前節で生成したト ラヒックを3種類のクラスタ(RBB,CRP,SVF)に集約する．例えば，RBBクラスタの

ルータ(0,1,2)のトラヒックパターンは入出力スループット比の差異だけではなく，平日

と休日のパターンの差異も内包する．よって，このポリシーによるモニタリングでは，不 連続領域を含む複雑な非線形クラスタ（図5.18）をオンラインで形成する高度なパターン 学習能力を備えたトラヒック分類器が必要である．この概念図は3次元圧縮性特徴空間に 形成されるトラヒックパターンクラスタを図示したものであり，全てのトラヒックパター ンのグラフである全体像(Overall)とRBB,CRP,SVFの個別グラフから構成されている．

表5.6 組織種別によるポリシー

ルータ 0 1 2 3 4 5 6 7 8

分類ラベル RBB RBB RBB CRP CRP CRP SVF SVF SVF

図5.18 トラヒックパターンクラスタ

表5.7 入出力スループット比(RBBとCRPは入力に対する出力の比，SVFは出力 に対する入力の比)

(1)安定パターン

RBB(OUT/IN) CRP(OUT/IN) SVF(IN/OUT) Med. 0.4≤r ≤0.5 0.48≤r≤0.64 0.4≤r≤0.5

#0 #3 #6

Low 0.1≤r ≤0.2 0.20≤r≤0.39 0.1≤r≤0.2

#1 #4 #7

High 0.7≤r ≤0.8 0.75≤r≤0.86 0.7≤r≤0.8

#2 #5 #8

(2)新パターン

High 0.9≤r ≤1.0 0.92≤r≤1.00 0.9≤r≤1.0

#2 #5 #8

ここでは，下記3種類の実験を行った．

実験1) 入出力スループット比が変化しない安定状態でのモニタリング

表5.7の(1)安定パターンが示す入出力スループット比だけを用いてトラヒックを 生成し，そのトラヒックをモニタリングする．

実験2) 入出力スループット比が変化する状況のモニタリング 

生成時の入出力スループット比を途中で変化させたトラヒックをモニタリングす る．具体的には，入出力スループット比を安定パターンから(2)新パターンに変化 させる．この変化はクライアントによるダウンロードトラヒックの増加を想定して いる．

実験3) 表5.6とは異なる不適切なポリシーによるモニタリング 

トラヒックパターンと整合しない不適切なポリシーや，パターン識別基準が不足す る不適切な基準トラヒックでは，正しい状態把握は望めない事を示す．トラヒック データは安定パターンのものを用いる．

モニタリングの評価指標として次の正答率を用いる．

正答率= 分類結果がポリシーと一致したルータ数 全観測ルータ数

高い正答率はポリシーがネットワークの状態を正しく表現している事，低い正答率はそう ではない事を表す．尚，本実験では，前日分のトラヒックを対象として正答率を1日1回 算出した．

次に，圧縮性特徴空間を構成する基準トラヒックについて述べる．モニタリング対象ト ラヒックは表5.7が示す9種類のパターンを持つ様にシミュレーション生成されている．

そして，管理者はこれらのパターンを平日と休日の差異を考慮せずに3種類の組織種別に 集約するために組織種別によるポリシー（表5.6）を定義した．そのため，各組織種別か ら1系列づつ基準トラヒックを選択した（表5.8）．具体的には，ルータ#0,3,6における 観測初日（平日）のトラヒックを基準として使用した．

表5.8 基準トラヒック

組織種別 RBB CRP SVF 基準トラヒック 0 3 6

(2) パラメータ

表5.9が示す平滑化区間に対するDANDELIONの類似度空間減衰率(T F V,CF V) の適値を求めた．生成トラヒックの一部を用いて予備実験を行い，最も高い正答率が得ら れた値をモニタリングパラメータとした（表5.10）．また，パターンの時間的変化を知る ため，類似度の時間減衰率(T F V,CF V)は0（ゼロ）とした．予備実験の詳細について 下記で述べる．

表5.9 平滑化区間（単位：分）

0 1 2 3

（短期，長期） (10, 20) (20, 40) (30,60) (40,80)

表5.10 実験パラメータ

平滑化区間（長期，短期）（単位：分） 類似度空間減衰率(T F V,CF V)

(40,80) (tan 77^◦, tan 60^◦)

(i) T F V 類似度減衰率

トラヒックは日々変化するが，それでも同じクラスの多様なトラヒックパターンを同 一パターンとみなす必要がある．圧縮性に基づく類似度は，比較対象に含まれる部分文 字列の分布により決定されるため，ラベル数が多いと値が小さくなる．よって，本研究 では，異なるクラスのトラヒックを区別できる最小ラベル数を使用する．T F V 類似度 減衰率が大きいとT F V ラベル数も大きくなるため，減衰率の下限値を求める．ここで は，7日分のデータを分類して異なるクラスのCF V が一致しない最小ラベル数とその時 のT F V 類似度減衰率を求める．ただし，7日分のデータでは学習に不十分であるため，

CF V の一致を1回だけ許容する．表5.9に示した4種類の平滑化区間に対する最小ラ ベル数とT F V 類似度減衰率の下限値を表5.11に示す．21種類のT F V 類似度減衰率 tan 60^◦,tan 61^◦,· · ·,tan 80^◦を試した．

表5.11 最小ラベル数とT F V の類似度減衰率

平滑化区間（分） (10,20) (20,40) (30,60) (40,80) 最小ラベル数 18 18 10 18 T F V 類似度減衰率 tan 66^◦ tan 73^◦ tan 74^◦ tan 77^◦

(ii) CF V 類似度減衰率

3種類のCF V 減衰率(tan 60^◦,tan 65^◦,tan 70^◦)を用いて49日分の生成トラヒックを モニタリングし，最後の7日間の平均正答率が最も高い値を選択する．得られた結果を表 5.12に示す．この実験により，表5.10が示す実験パラメータが選択された．また，実験 で用いた平滑化区間の大部分で90%以上の高い正答率が得られた．つまり，提案手法の パラメータ選択は困難ではない．

表5.12 CF V の類似度減衰率と平均正答率(%)

% (10,20),tan 66^◦ (20,40),tan 73^◦ (30,60),tan 74^◦ (40,80),tan 77^◦

tan 60^◦ 87.3 90.5 93.7 98.4

tan 65^◦ 85.7 90.5 93.7 96.8

tan 70^◦ 85.7 90.5 93.7 96.8

(3) 実験結果

ここでは，予備実験で定めた表5.10のパラメータを用いた実験結果について述べる．

(i) 安定状態

本実験では，トラヒックパターンが表5.7の(1)安定パターンから変化しない安定状態 のモニタリングを実施する．また，モニタリングの安定度も評価するため，ここでは700 日分のトラヒックデータを用いた．モニタリング結果として直前7日間の正答率の平均 値を図5.19に示す．例えば，図の21日目の値は15日目から21日目までの正答率の平 均値を示す．この図を元に時系列順に実験結果を説明する．モニタリング開始から49日 間は管理者が正しい分類ラベルを教示する学習を実施したが，50日目以降は正答率が高 原状態に達したとみなしT F V とCF V の学習を停止した．つまり，本実験の学習期間 は7週間であった．尚，本実験における学習停止とは管理者が判定した正しい分類結果を 事例DBに登録しない事である．図5.19が示す様に，学習停止後においても平均正答率 は安定的にほぼ90%以上であり，平均は95.5%である．つまり，管理者に要求される手 動検査は全トラヒックの5%未満である．この事実は安定状態では獲得した経験知識によ り自動状態把握が可能である事を示しており，本システムは管理者の負担軽減に役立つ．

また，既知のパターンを新パターンと誤認する確率(FalseNagative)は1%未満であり，

学習した知識の範囲内にあるパターンの識別誤りは極めて少ない．上記の結果は，システ ムが学習により組織種別に起因するパターンの差異を自動的に，且つ高率(95.5%)で識 別できる事を示す．つまり，本システムは多様なパターンを自律適応的に学習し，大きな パターンの差異を報告する能力を持つ．次に，本実験で形成されたCF V クラスタを図 5.20に示す．グラフの各点は観測トラヒックのCF V であり，軸は基準トラヒックとの 圧縮性に基づく類似度を表す．この図から，本システムが学習により多数の不連続領域を 含む非常に複雑な非線形クラスタをオンラインで形成できた事が分かる．また，本実験の 終了時点におけるモニタリング1回（1日分のデータ）の処理時間は約10秒であった．

図5.19 安定状態における正答率

図5.20 安定状態におけるトラヒックパターンクラスタ

(ii) パターン変化

ここでは，パターン変化への適応能力を評価するため，50日目以降のルータ2,5,8の トラヒックを表5.7の(2)新パターンに変更する．例として，変更直後における新旧ト ラヒックパターンを図5.21に示す．これらのグラフは30分の平均スループットを表す．

bps(bits/秒)にはある程度の差異があるが，pps(packets/秒)には殆ど差異が無く，この 変化は差異が小さい紛らわしい変化である．尚，ここでは140日分のデータを用いた．

図5.21 新旧トラヒックパターン

図5.22 パターンが変化した場合の正答率

このモニタリングにおける平均正答率を図5.22に示す．管理者は50日目に正答率が高 原状態に達したと判断し，学習を停止した．その直後からルータ2,5,8の正答率が大きく 低下し，頻繁に新パターンを表す分類ラベルが付与された．管理者は調査により図5.21 が示す小さく紛らわしい変化を発見したが，それを短期的現象と判断して学習を再開しな かった．しかし，その後も低い正答率が1週間継続したため，管理者はパターンが変化し たとみなし，57日目以降からルータ2,5,8の学習を再開した．この再学習により正答率は

回復に向かい，105日目に再び高原状態に達したため学習を停止した．再学習停止後の平 均正答率は92.4%と安定状態と同様の高率であり，パターンが変化しても学習により正 確なネットワークの自動状態把握が可能である．本実験では，システムが正答率の低下を 管理者に通知し，再学習が実施された結果，新しい経験知識が獲得されている．つまり，

本システムは管理者による経験知識の獲得と維持管理を支援している．

パターン変化直後の学習停止期間におけるルータ2,5,8の平均正答率は42.9%であり，

安定状態と比べて劇的に低下していた．これはパターン変化を検出できなかった割合が

42.9%であると考える事もできるが，正答率の急激な低下によりパターン変化の発生を明

確に識別できており，差異が小さな紛らわしい変化の誤認率としては妥当な値であると考 えられる．また，この小さなパターン変化を新パターンとして識別した確率は23.8%で あったが，安定状態では既知のパターンを新パターンと誤認する確率は1%未満であり，

大きく増加しているため新パターンも識別できる．よって，この値も妥当だと考えられ る．本実験終了時点におけるモニタリング1回の処理時間は約20秒であった．

(iii) 不適切なポリシー

提案手法は種々のポリシーを用いる事で多様な目的のモニタリングを実施可能である が，全てのポリシーを許容する事はできない．ここでは，トラヒックパターンの識別基準 が存在しないか不足するため，正しい状態把握が望めない場合を取り上げる．識別基準が 存在しないケース1と不足するケース2それぞれについて下記で述べる．

ケース1)管理者は月曜日から日曜日までのトラヒックパターンを7つのパターンとし て識別するポリシーを安定パターンのデータに適用したが，最後まで学習を継続したにも かかわらず平均正答率は20.2%と非常に低かった（図5.23）．生成トラヒック（図5.17） が示す様に，月曜日から金曜日までのトラヒックにはそれらを区別可能な特徴が存在しな い．つまり，基準によらず常に誤認するため，学習による正答率改善は望めない．また，

土曜日と日曜日においても同様である．よって，このポリシーによる状態把握は当然不可 能である．この結果が示す様に，識別基準が存在しない不適切なポリシーの適用は学習効 果喪失による異常な低正答率として現れるため，管理者はポリシー変更の必要性を認識で きる．

図5.23 不適切なポリシーによる正答率