4.3 実験
4.3.2 トラヒック分類実験
ここでは,CTFI の適応的なトラヒックパターン分類能力を評価するため,前節でシ ミュレーション生成したトラヒックを分類する次の2種類の実験を実施した.
(1)適応的ラベルの教示なし学習能力と圧縮性特徴空間によるパターン分類能力 トラヒックパターンの知識を持たない状態から適応的ラベルを教師なしで学習 し,圧縮性特徴空間によりラベル時系列をパターン分類する能力を評価する.
(2)トラヒックパターンの変化に対する適応性
トラヒックパターンの変化に対して適応的にパターン分類する能力を評価する.
次の正答率により,自動分類結果を評価する.
正答率= 分類結果が生成パターンと一致するトラヒック数 全トラヒック数
高い正答率はCTFIが正しくトラヒックを分類している事,低い正答率はそうではない事 を表す.尚,本実験では連続した1週間分のトラヒックデータを分割せずに分類した.
次に分類パラメータについて述べる.トラヒック平滑化区間とDANDELIONの類似 度減衰率の2種類のパラメータそれぞれについて,事前に定めた候補値から正答率が最も 高いパラメータを選択した.平滑化区間は表4.9の4通り,類似度減衰率は表4.10の5 通りを候補として用いた.すなわち,パラメータの組み合わせ総数は4×5=20通りで ある.
表4.9 平滑化区間(単位:分)
# 0 1 2 3
(短期,長期) (10, 20) (20, 40) (30,60) (40,80)
表4.10 DANDELIONの類似度減衰率(T F V =tanα, CF V =tanβ)(単位:度)
# 0 1 2 3 4
(α, β) (60, 60) (65, 65) (70, 70) (75, 75) (80, 80)
(1) 適応的ラベルの教示なし学習能力と圧縮性特徴空間によるパターン分類能力
ここでは,表4.11が示す18系列のトラヒックを分類した結果を評価する.この表に は,2種類の組織種別(RBB,CRP)と3種類の入出力スループット比(Med.,Low,High) により,6パターンのSmallスケールトラヒックが定義されており,1つのセルが1つの パターンを示している.そのため,各セルから1系列づつ基準トラヒックを選び,それ
らによって張られる6次元圧縮性特徴空間でトラヒックを分類する.下線付きの6系列
(0,3,6,9,12,15)が基準トラヒックであり,各セルは生成トラヒックのクラスタを表す.組
織種別毎に3種類の変動パターンがあるため,1つのクラスタ(セル)は3系列のトラ ヒックを含んでいる.ここで述べた様に,本実験では分類結果が明らかなトラヒックデー タを使用する.
分類結果を表4.12に,正答率を表4.13に示す.表4.12の1つのクラスタは,同一のト ラヒックで構成される表4.11の1つのセルに対応している.すなわち,生成パターンと 同一の完全な正答が得られた.また,この結果は表4.14が示す3種類のパラメータによ り得られた.
表4.11 18系列のSmall scaleトラヒック
区分 Small scale
RBB CRP
Med. 0,1,2 9,10,11 Low 3,4,5 12,13,14 High 6,7,8 15,16,17
表4.12 分類結果
クラスタ 0 1 2 3 4 5
分類結果 0,1,2 3,4,5 6,7,8 9,10,11 12,13,14 15,16,17
表4.13 正答率
基準トラヒック 正答率(%) 6系列(CFV 6D) 100
表4.14 パラメータ
平滑化区間(長期,短期)(分) DANDELIONの類似度減衰率(tanα,tanβ)
20, 40 tan70◦,tan70◦
20, 40 tan75◦,tan75◦
10, 20 tan80◦,tan80◦
(2) トラヒックパターンの変化に対する適応性
ここでは,(1)で述べたトラヒックパターンに変化が生じた場合におけるCTFIの適応 性を評価する.そのため,この実験では,(1)で使用した18系列のSmall scaleトラヒッ ク(表4.11)を変化させた次の2パターンのトラヒックデータを使用する.
a)異なる組織種別の追加
表4.11の18系列にSmall scale SVF(9系列)を加えた27系列(表4.15) b)異なるスケールの追加
表4.11の18系列にLarge scale RBB,CRP,SVF(27系列)を加えた45系列
(表4.16)
このトラヒックデータの正しい分類結果は表の各セルが一つのクラスタを形成する分類結 果である.例えば,トラヒック{18,19,20}は1つのクラスタを形成する.
表4.15 パターンa(27系列)
Small scale
区分 (1)で使用した18系列 追加分9系列
RBB CRP SVF
Med. 0,1,2 9,10,11 18,19,20 Low 3,4,5 12,13,14 21,22,23 High 6,7,8 15,16,17 24,25,26
表4.16 パターンb(45系列)
Small scale Large scale
区分 (1)で使用した18系列 追加分27系列
RBB CRP RBB CRP SVF
Med. 0,1,2 9,10,11 18,19,20 27,28,29 36,37,38 Low 3,4,5 12,13,14 21,22,23 30,31,32 39,40,41 High 6,7,8 15,16,17 24,25,26 33,34,35 42,43,44
以下で,これらのパターンにおける正答率からCTFIの適応性を評価する.尚,正答率 の差異が10%未満の場合,それらを同程度とみなす.
i)管理者による基準トラヒックの教示
トラヒックパターンの次元性を増加させる大きな変化により,圧縮性特徴空間の次元性 が不足した場合,正確な分類は望めない.ここでは,その様な大きな変化に対するCTFI
の適応性を評価する.まず,実験で使用する基準トラヒックを表4.17に示す.基準トラ ヒックは,(1)で使用した6系列の基準トラヒックからなるCFV 6Dと,CFV 6Dに基 準トラヒックを追加したCFV 9D, CFV 15Dの2種類を使用する.CFV 6Dはパターン a,bの両方で使用し,CFV 9Dはパターンaで, CFV 15Dはパターンbでのみ使用する.
パターンa,bを変化前の基準(CFV 6D)と新基準(CFV 9D, CFV 15D)で分類した正 答率を表4.18に示す.この実験では,(1)で得たパラメータとTFVラベルデータベース を用いた.Small scaleトラヒックのみで構成されるパターンaでは,CFV 6DとCFV 9Dの正答率は同程度であり,CFV 6Dの次元性に不足は無い.しかし,多数のLarge
scaleトラヒックを含むパターンbでは,基準トラヒックが追加されたCFV 15Dにより
正答率が大きく向上している.これはCFV 6Dでは圧縮性特徴空間の次元が不足してい る事を示している.よって,次の結論を得る.
• トラヒックパターンの次元性を増加させる大きな変化への適応には,管理者が基準 トラヒックを追加して圧縮性特徴空間の次元を増やす事が必要
表4.17 基準トラヒック
パターン (1)で使用した基準 新基準 CFV 6Dへの追加
a CFV 6D CFV 9D 18,21,24
b 0,3,6,9,12,15 CFV 15D 18,21,24,27,30,33,36,39,42
表4.18 トラヒック変化後の正答率(%)
パターン
基準 a b
CFV 6D 88.9 60.0
新基準 85.2 77.8 (CFV 9D) (CFV 15D)
ii)教示なしによるラベル学習とパラメータ再探索
変化前の完全な正答率とトラヒック変化後の正答率(表4.18)を比べると,パターンb では基準を追加しても77.8%であり改善の余地がある.よって,ここでは,i)で実施して いない次の項目を実施し,それらの効果を評価する.
• TFVラベルの学習
• パラメータ(平滑化区間とDANDELIONの類似度減衰率)の再探索 尚,実験は圧縮性特徴空間の次元性が適切な基準を用いて実施する.
ラベル学習とパラメータ再探索の同時実施による正答率を表4.19に,単独実施による 正答率をそれぞれ表4.20, 4.21に示す.この実験では,トラヒックの変化が発生する前 の(1)で獲得したTFVラベルデータベースを使用し,トラヒックが変化した後のラベル 学習は新規ラベルの追加として実施した.また,パラメータの探索範囲は(1)と同一とし た.分類結果の例として,パターンaをラベル学習とパラメータ探索を実施せずにCFV 6Dで分類した場合(表4.19)を取り上げる.High区分のRBB(6,7,8)とMed.区分の
CRP(9,10,11)が同一クラスタとなる分類誤りにより,正答率は24/27=88.9%であった.
ラベル学習とパラメータ再探索の同時実施は,全ての場合に90%を越える高い正答率を 達成した(表4.19).単独実施では,ラベル学習はパターンbで効果があるが(表4.20), パラメータ再探索は殆ど効果が無い(表4.21).よって,次の結論を得る.
• ラベル学習は効果的である
• パラメータ再探索の効果はラベル学習との同時実施で大きくなる
表4.19 ラベル学習とパラメータ再探索の同時実施
パターン 基準 ラベル学習とパラメータ再探索の同時実施 正答率(%)
a CFV 6D 有 100
無 88.9
CFV 9D 有 100
無 85.2
b CFV 15D 有 93.3
無 77.8
表4.20 ラベル学習の単独実施
パターン 基準 ラベル学習 正答率(%)
a CFV 6D 有 88.9
無 88.9
CFV 9D 有 85.2
無 85.2
b CFV 15D 有 93.3
無 77.8
表4.21 パラメータ再探索の単独実施
パターン 基準 パラメータ再探索 正答率(%)
a CFV 6D 有 88.9
無 88.9
CFV 9D 有 88.9
無 85.2
b CFV 15D 有 80.0
無 77.8
4.3.3 実験結果のまとめ
ここでは実験結果について考察する.まず,基本パターンにおける完全な正答は,CTFI が次の能力を十分に具備している事を示している.
• TFVラベルを教師なしで学習し,トラヒック時系列を指定された基準に基づいて パターン分類する能力
トラヒックパターンが変化した場合においても,90%以上の高い正答率が得られる事は,
CTFIの次の能力を示している.
• トラヒックパターンの次元性を変えない変化に対して,自律的に適応する能力
• トラヒックパターンの次元性を増加させる大きな変化に対して,管理者による基準 の教示だけで自律的に適応する能力
また,基準トラヒックの追加,ラベル学習,パラメータ再探索の特性が明らかになった.
• 管理者による基準トラヒックの教示は,トラヒックパターンの次元性を増加させる 大きな変化に効果的
• トラヒックパターンの次元性が適切である場合,ラベル学習は効果的
• パラメータ再探索の効果はラベル学習との同時実施で大きくなる
トラヒック分類の計算時間は,パターンaでは約2分,bは約3分,cでは約4分とほ ぼ線形であった.この線形性は主に学習機能付き事例データベースDANDELIONによ
る.DANDELIONの最近傍探索は局所鋭敏性ハッシュやkd-tree等により更に高速化で
きる.よって,CTFIはより大規模なトラヒックデータの分類も十分に可能である.