採択評価ヒアリング： 「膨大な数の極小データの効率的な配送基盤技術の研究開発」

膨大な数の極小データの

効率的な配送基盤技術の研究開発

平成26年10月7日（火）

株式会社 KDDI研究所

国立大学法人 九州工業大学

国立大学法人 佐賀大学

株式会社 ネットワーク応用技術研究所

1

アウトライン

• 課題の位置づけ

• 研究開発成果

– 課題（１）ビッグデータのネットワーク配送基盤技術

• DPIを取り入れたパケット識別

• パケット集約時のパケット構成方法

– 課題（２）ビッグデータ用ネットワーク配送基盤の異常検出

技術

• 長周期通信（数分から数十分）の異常検知を10分で

実現

2

スマートフォンや小型化・低価格化が進むセンサ等の多様なデバイスによって生成される膨大な数の極小

データを、信頼性を担保しながらサービス毎の要求品質を考慮して効率よくネットワークに収容する基盤

技術等を確立。

中継伝送装置 収容伝送装置 データセンタ センサ スマートフォン マルウェア

基幹ネットワーク

課題(1） ビッグデータの ネットワーク配送基盤技術 ○データの種類や品質要求、宛先等 の情報に基づき通信品質を満たしつ つ、基幹ネットワーク全体でデータの 収容能力を増大させる配送技術 ○ 通信特性情報（遅延変動、スルー プット等）を効率的に収集し、データ量 が増えても通信品質や信頼性を維持 するスケーラブルな配送管理技術 課題（2）ビッグデータ用ネットワーク 配送基盤の異常検出技術 ○ デバイスが送出するデータからデ バイスの異常挙動を検出する技術 ○ デバイスが送出するデータ及びそ の統計値から、既存の検出技術では 発見できていない種類のデバイス異 常を検出する技術 モニタリング・監視

課題の位置づけ

3

課題（１）のポイントと開発技術の概要

4 スマートフォンやセンサ等の多様な無線通信デバイスによって生成されるデータの種類や品質要求、宛先等の 情報に基づき通信品質を満たしつつ、基幹ネットワーク全体でデータの収容能力を増大させる配送技術 →基幹ネットワークで用いられる既存の中継伝送装置当りのフロー収容能力を５倍以上に向上

○ 本研究開発で確立する「ビッグデータ配送基盤技術」

極小パケットを複数まとめ（集約 し）、大きなパケットを基幹ネット ワークへ入力。 集約を元のパケットに戻す。 ドロップ

○ 既存技術

中継伝送装置 中継伝送装置 多数の極小パケットを処理できずドロップ。 回線には空きがあるがルータの処理が追いつかない。 中継伝送装置 中継伝送装置 パケット数が削減されることで、 ドロップがなくなる。

○ 本研究開発で確立する「ビッグデータ配送基盤の異常検出技術」

○ 既存技術

中継伝送装置 中継伝送装置 侵入検知システム （IDS、エッジに配備) デバイス（数万規模） １０００万台規模のデバイス群 （センサ等） 本研究で研究開発する 異常検出システム 【解析】定常（正常）挙動モデル との比較により、ただちに異常 を検出 連携 本研究で研究開発する 異常検出システム 【蓄積1】パケット集約装置の DPIにより、アプリ別度数分布 の作成・蓄積を高速化 中継伝送装置 中継伝送装置 【蓄積2】装置の連携により度数分 布に基づく定常（正常）挙動パター ンを10分以内に作成し、大規模感 染型マルウェアの拡散を防止

課題（２）のポイントと開発技術の概要

5 デバイスが送出するデータを蓄積し、デバイスの挙動又はデバイスが送出するデータのヘッダ情報、サービス種 別及び通信特性情報などにより挙動を分析することで、ただちに挙動異常を検出 →ネットワークに接続された3000 万台のデバイスの挙動異常を検出 侵入検知システムを用いたパケット解析による異常・攻 撃シグニチャ等の事前ルールに基づく、異常検知・攻撃 検知・・・事前にルール化された挙動しか検知できない

課題（１）ビッグデータのネットワーク配送基盤技術

6

If ((ip.dst == 10.1/16) && http.content_type contains “video/mp4”) {POP ID =X; Content ID =Y}

POP#1

POP#2

SDN

【高速DPI】

【集約最適化】

待機パケット フロー 検索 未登録フロー

フロー

テーブル

登録済フロー テキスト 解析 マッチしたパケットの フロータプルを登録 テキスト解析待機 パケット

大きい処理遅延

小さい処理遅延

集約最適化へ

パケット識別を2段階に分 け、高速処理可能なフロー識 別の頻度を最大化

DPI

・重み値として以下の3種類を用意 （１）残余集約待機時間を優先 （２）スループットを優先 （３）集約効率を優先

課題（１）ビッグデータのネットワーク配送基盤技術

7

【課題解決の方向】

•

通信品質を維持可能な集約待機時間を調整

【課題解決の手法】

•

上記の連携により調整した集約待機時間を基に到着パケット

を クラス分けし、優先度が高いパケットから順にパケットを

集約

⇒到着トラヒックの過負荷時や偏在時にも適切にパケットを集約

α sec用バッファ β sec用バッファ 集約用バッファ γ sec用バッファ 先頭パケットに 対して重みを 計算する デキュー条件 1. タイマーがexpire 2. キュー長がMTUを超過 パケットが保 持する待機 可能時間を 基にクラス分 け 重みが最も大きな パケットから集約用 のバッファへ ※α < β < γを満たす ※今回、バッファ 数を３つとした (2) 集約パケット構成方式に関する研究開発 コアネットワークの変化に応じて集約待機時間を調整  遅延時間の変化  遅延時間増加 → 集約待機時間短縮  流入パケットレートの変化  パケットレート増加 → 集約待機時間拡大 (1) 集約待機時間調整手法に関する研究

Ingress-Edge

7

課題（１）ビッグデータのネットワーク配送基盤技術

8

Ingress

Egress

0 500000 1000000 1500000 2000000 2500000 0 20 40 60 80 100 120 p ac ke t p e r se co n d time(sec) パケットレート @ ingress In-pps Out-pps 0 500000 1000000 1500000 2000000 2500000 0 50 100 150 p ac ke t p e r se co n d time(sec) パケットレート @ egress In-pps Out-pps 0 500 1000 1500 2000 2500 0 20 40 60 80 100 120 p ac ke te r ate (M b p s) time(sec) ビットレート @ ingress In-bps Out-bps 0 500 1000 1500 2000 2500 0 50 100 150 p ac ke t r ate (M b p s) time(sec) ビットレート @ egress In-bps Out-bps

課題（１）ビッグデータのネットワーク配送基盤技術

9

【成果】

• 通信品質を維持しつつ、パケット数を削減するための集約待機時間に基づく

集約パケット構成手法を考案し、実装した

• トラヒックの過負荷時、過小時、偏り時にも対応できることを確認

– 過負荷時 ⇒ 複数バッファによるクラス分け

– 過小時 ⇒ 複数バッファから集約パケットを構成するためのバッファを用意

– 必要バッファ数

⇒ 要求が類似するアプリ群ごとにバッファを用意することで削減可能

• （１）入力トラヒックが過負荷の場合、（２）トラヒック量に偏りがある場合を評価

• 手法1（バッファ数１）、手法2（バッファ数３、各バッファで集約）と比較

実時間通信（W=100μs） 手法3（遅延）、 （スルー プット） 0% 手法2 平均40% 手法1 100% 過負荷 センシング（W=50μs） 手法3（遅延 重視） 0% 手法2 平均20% 手法1、 手法3（スループット 重視） 100% 過負荷 ファイル転送（W=200μs） 手法3 （スループット） 0% 手法1、2、 手法3（遅延） 100% 過負荷

トラヒックが過負荷時の結果

9

の異常検出技術

10

周期１

トラヒック情報収集

定常モデル作成完了

集約

解析

集約

解析

定常モデル作成完了

異常検知

異常検知

周期２

トラヒック情報収集

周期３

トラヒック情報収集

判定

判定

判定

判定

判定

判定

判定

収集～集約～解析、の流れ

経過時間

フロー情報

10分で異常検知へ

の異常検出技術

11

混在トラヒック

1

0

0

1

1

0

0

0

1

0

1

1

パケット長分布 トラヒックパターンA トラヒックパターンB トラヒックパターンC 度数

A

B

C

トラヒックパターン

多重化された統計情報

グループ1

グループ2

トラヒックパターン × グループ

定常モデル

グループ4

グループ3

の異常検出技術

12

=

×

観測値行列

成分（パターン）行列

各始点が含む成分

（パターン）

S1 S2 S3 Sm

パ タ ー ン １ パ タ ー ン ２ パ タ ー ン ｋ パターン１ パターン２ パターンｋ

V を W と H に分解（Ｗ，Ｈを生成）

観測度数系列 パターン系列 基底行列 係数行列 複数デバイスから同挙動

行列の要素は非負の値 S1 S2 S3 Sm

 成分（パターン）を抽出

デ バ イ ス １ デ バ イ ス ２ デ バ イ ス ３ デ バ イ ス ４ デ バ イ ス １ デ バ イ ス ２ デ バ イ ス ３ デ バ イ ス ４

異常検出技術の成果（1/2）

13

【課題解決の方向】

• 複数デバイスから送出されるトラヒックを一括して解析することで、高速

な定常モデル作成

【課題解決の手法】

• 複数デバイスからのトラヒックに、NMF （非負値行列因子分解）を適用す

ることで、トラヒックのクラスタリングと、ヒストグラム生成を同時に実施

• NMFを高速に実行するために、GPUにより実装

課題（２）－ア _{課題（２）－イ}

研究開発全体：目標

1. ビッグデータのネットワーク配送基盤技術

基幹ネットワークで用いられる既存の

中継伝送装

置当りのフロー収容能力を 5 倍以上に向上

– フロー：数 bps～数十 bps のデータを送信するデバイスの

通信

2.

ビッグデータ用ネットワーク配送基盤の異常検出

技術

3000万台デバイス

がデータを送出する環境にお

いて、挙動異常を検出するのに必要な

データ蓄

積の時間を

_{10 分間以内}

– 平均15 分間に 1 回の間隔でデータが送信されると仮

定

14

実施体制

15

（１）ビッグデータのネットワーク配送基盤技術

（２）ビッグデータ用ネットワーク配送基盤の異常検出技術

研究リーダー：北辻 佳憲 （KDDI研究所）

研 究 者：池永 全志、中村 豊、大西 圭、福田 豊、塚本 和也

野林 大起 （九州工業大学）

金 大善、梅木 智光 （KDDI研究所）

研究責任者 ： 中島 康之（KDDI研究所）

研究リーダー：中村 勝一 （ネットワーク応用技術研究所）

研 究 者：堀 良彰、フォン ヤオカイ （佐賀大学）

井上 達、永田 晃、富永 浩之、元田 恵一、森山 敦文、

Thin Thin Nwe、稲田 和彦、高石 良一、大石 一夫