適応型モニタリングシステムにおける
コンセプトドリフト検出に向けた初期実験
Initial Experiment to Detect Concept Drift on Adaptive Monitoring System
坂本 悠輔
1福井 健一
2Daniela Nicklas
3森山 甲一
2沼尾 正行
2Yusuke Sakamoto
1, Kenichi Fukui
2, Daniela Nicklas
3, Koichi Moriyama
2, Masayuki Numao
21
大阪大学大学院情報科学研究科
1
Graduate Scool of Information Science and Technology, Osaka University
2
大阪大学産業科学研究所
2
The Institute of Scientific and Industrial Research, Osaka University
3Carl Von Ossietzky University Oledenburg, Germany
Abstract: We propose a monitoring system based on concepts composed of a number of features as a
monitoring target. Self-Organizing-Maps (SOM) is utilized to obtain concepts and to classify a new event into one of the concept. To make the system sustainable, the system has to deal with concept drift such as change of a concept and appearance of a new concept over time. In this work, we tried to validate use of cluster assignment error as a detection criterion of concept drift and the alogrism to detect concept drfit.
1.
はじめに
現在，機器や装置のモニタリングシステムは危険 や異常の検知のために様々な場面で用いられている。 例えば温度，電圧などの物理量をシステムの判断基 準とするモニタリングシステムが広く用いられてい る．しかし，この物理量型モニタリングシステムで は，危険や異常の判断は，判断基準としている物理 量が閾値を超えるか超えないかという基準で行われ るために，閾値が適切に設定されていない場合に危 険や異常を正しく検知できない問題や，危険や異常 を正しく検知出来たとしても，原因の特定を迅速に 行えない問題がある．原因の特定を迅速に行えない 問題は，システムの警告があればその都度，物理量 や使用状況から使用者が原因を探る必要があるため に起こる． このような問題を解決する方式として，学習ベー スモニタリングシステムが考えられる．事前に学習 により対象のモデルを構築することで，複数の物理 量と故障や異常とを概念（例えば、部品 A の破損な ど）として関連付けることができる．システムの判 断基準を概念とする最大の長所は、システムが異常 や危険を検知した際に，一見して異常や危険の原因 までわかるということである．しかし，学習ベース の方式では，モニタリング対象にこれまで起きてい ない故障や劣化が生じると，モデルに含まれない未 知の概念に対応できず持続可能性に欠くという問題 がある．すなわち，コンセプトドリフト[1]（より正 確には対象 S の観測量の確率分布Pr(S)の変化や，新 たな確率分布 Pr(S’)の出現を指す）に対応する必要 がある．ここで，全ての概念を事前に学習しておく ことは非現実的であるため，モニタリングと共にモ デルの更新が必要となる．一方，逐次入力されるデ ータからコンセプトドリフトの検出[2]や，モデルを 更新する逐次学習方式[3]なども提案されているが， これらの研究は学習の観点で検出精度やモデルの追 従精度を検証するに留まっており，モニタリングに 応用した例はみられない．また，学習にはクラスタ リングであればクラスタリング結果の意味付けや， 教師あり分類学習であれば教師となるラベルを観測 対象に精通した人に付与してもらう必要があること， さらに学習に要する計算時間は一般に事象の入力頻 度に比べて長いことが挙げられる． そこで本研究では，ユーザとのインタラクション が必要で低速な学習機能と，オンラインでの高速な 処 理 を 実 現 す る デ ー タ ス ト リ ー ム 管 理 シ ス テ ム (DSMS)を組み合わせるアーキテクチャを提案した [4]．本方式では、統計に基づいた動的な閾値管理手 法[2]によりコンセプトドリフトを検出し，適切なタ イミングでモデルの更新を行うことで，持続的なモ ニタリングを目指す．初期的な検討として，人工デ ータと実データに対して人工的にコンセプトドリフ トを設定し，クラスタ割当て誤差の変化を観察する． さらに、この時，割当て誤差に対して Gama らの Concept Drift 検出手法[2]を適用し，コンセプトドリ フトの検出法として有効であるかどうかを検討する． これらの検討によって，提案アーキテクチャに適し たコンセプトドリフト検出法の検討の第一歩とする． 人工知能学会研究会資料 SIG-KBS-B401-052. システム実現ノための提案アーキテクチャ
2.1 全体像
提案するアーキテクチャを図 1 に示す．赤枠で示 されている処理は，各事象がセンサで観測される度 に，高頻度に処理が必要な部分である．これらは， 高速に処理する必要があるため，全てオンメモリで 処理を行うDSMS 上に実装する必要がある．ここで， DSMS は Nicklas らが提案する汎用フレームワーク であるOdysseus[5]を利用することで，容易に実現 できる． 一方，青枠で示される処理は，観測対象に何らか の変化が起きてコンセプトドリフトが検出された場 合にのみ処理を行う．この部分には，ユーザとのイ ンタラクションや学習モデルの更新，アーカイブへ の書き出しなどの低頻度処理が含まれる．それぞれ の中身について，我々を中心としてこれまで研究を 続けてきた燃料電池の損傷評価[6，7]を例に説明す る． 我々の先行研究では，燃料電池の損傷の計測には Acoustic Emission(AE)法を用いている．AE 法とは， 材料の破壊の際に発生する微弱な弾性波を波形信号 として測定することによって，非破壊に損傷を評価 する方法である[8]．そして，多様な損傷に由来する AE 事象の分類と可視化のためにニューラルネット ワークの一種である自己組織化マップ（SOM）を用 いている．2.2 処理の流れ
まず常時計測されるノイズを含むAE センサの信 号から，損傷に起因するAE 事象部分を切り出し， FFT による周波数変換を行い，入力ベクトルを得る (Preprocessing)．次に、新規 AE 事象の入力ベクトル を 学 習 済 み SOM マ ッ プ に 割 り 当 て る (Cluster Assignment)．ここで，Concept Drift Detection を行い， ドリフトが検出された場合は学習モデルを更新する必要があるので，low frequency process に進み，SOM
学習モデルの更新(Update cluster map)とユーザによ るラベリング(Update labeling)を行い，新たなマップ をDSMS に受け渡す．ドリフトが検出されなければ， モニタリングの処理として事前に定義したルールベ ースと照らし合わせて合致すれば警告を出したりア ーカイブしたりする(Complex Processing)．
2.3 SOM
SOM の特徴は高次元データを教師なしでクラスタ リングし，2 次元平面上に視覚的に表現できる点で ある．SOM は位相空間上に規則的に配置された複数 のニューロンノードから構成される．各ノードは入 力ベクトルと同次元の参照ベクトルを持っており， SOM に入力ベクトルが与えられると，入力ベクトル と最も近い参照ベクトルを持つノードが勝者ノード となる．この時，位相空間上で勝者ノードに近いノ 図 1：提 案アー キテク チャ．ードほど入力ベクトルに対して強く学習する権利を 獲得し，その強さに応じて参照ベクトルを入力ベク トルへと近づけるように学習する．
2.4 Cluster Assignment
新規入力ベクトルは，参照ベクトルとの量子化誤差 が最小となるニューロンへ割り当てられる. ここ で,𝑥!を新規入力ベクトルとすると,𝑥!が割り当てら れる勝者ニューロンの量子化誤差は次式で与えられ る． 𝐸𝑅𝑅𝑂𝑅 𝑥! = min!!!,⋯,! 𝑥!− 𝑊! (1) ここで，𝑊!は新規入力ベクトルの勝者ノードを表 す．なお，𝑖はノード番号，𝑚はノード数である． また，将来適用を予定している燃料電池の損傷の モニタリングに用いるデータは音波データを予定し ている．先攻研究[6,7]では，音波事象の距離測度と して周波数スペクトル分布の Kullback-Leibler 情報 量を用いたため，カーネル化SOM[9,10] を用いた． カーネル SOM における量子化誤差は次式で与えら れる． 𝐸𝑅𝑅𝑂𝑅(𝑥!) = min!!!,…,! 𝐾 𝑥!, 𝑥! − 2𝛾 ℎ!,! !𝐾 𝑥!, 𝑥! ! (2) +𝛾2 ℎ 𝐶 𝑘 ,𝑖ℎ𝐶 𝑙 ,𝑖𝐾 𝑥𝑘, 𝑥𝑙 𝑙 𝑘 ここで，𝑖：SOM のノード番号，𝑚：ノード数，𝑗, 𝑘, 𝑙のΣ は SOM 学習モデルの作成に用いた学習データにつ いての総和である． 𝐾 𝑥𝑖,𝑥𝑗 はカーネル関数である． ただし，本稿では，線形カーネルを用いた． また，ℎ!,!は位相空間上のユークリッド距離に基づ く近傍関数である．本研究では，ガウス関数を用い た．γ は正規化項であり， 𝛾 = !! ! ! ,! ! によって与 えられる．C(j)は式(2)で計算される勝者ニューロン の番号を表している．2.5 Concept Drift Detection
本稿では，コンセプトドリフトの検出基準として， SOM による学習モデル，すなわちマイクロクラスタ への割り当て誤差の検討を行う．ここで、検出基準 の要件として，学習済みモデルに含まれる概念およ びモデルに含まれない概念から得られた新規データ の両評価値において，統計的に有意な差が得られる 必要がある．さらに，検出法の要件としては，観測 回数に依存しない定数オーダーの計算量で検出する 必要がある．そのような検出法として，我々はGama らのConcept Drift 検出法[2]に着目している．ただし， Gama らの研究では，教師あり学習器における滑走 窓中の損失関数値を検出基準としている．そのため， 本稿では，Gama らの手法が，教師なしクラスタリ ングである SOM の割当て誤差に対しても有用かど うかという検討を行う．
2.6 Gama らの Concept Drift 検出法の適用
Gama らが提案した Concept Drift 検出法は統計的
手法に基づいている．Gama らは，以下の数式を満 たす時をコンセプトドリフトと定義した． 𝑝!+ 𝑠! ≥ 𝑝!"#+ 𝛼 ∗ 𝑠!"# (3) ここで，𝑝!は標準正規化されたテストデータの割当 て誤差(k はテストデータの割当て順), 𝑠!は𝑝!!∆か ら𝑝!までの標準偏差である．ここで，∆は滑走窓幅 である．また，𝑝!"#と𝑠!"#はそれぞれ過去すべての𝑝! と𝑠!の最小値である．また，𝛼は優意水準に基づく数 値である． ここで，割当て誤差の標準正規化は以下のように して行う．SOM モデル作成時の各トレーニングデー タの割当て誤差を𝑃!(n はデータ番号)，全トレーニ ングデータの割当て誤差の平均を𝐴，標準偏差を𝑆， テストデータの割当て誤差を 𝑝!!(k はテストデータ の割当て順)とする． ここで，Concept Drift 発生前は，テストデータは トレーニングデータと同じ確率分布から発生すると 考えられるので，トレーニングデータの割当て誤差 の平均と分散を用いて，以下のように標準正規化す る事ができる． 𝑝!=𝑝! ! − 𝐴 𝑆
３．実験
３．１ 割当て誤差の変化の観察 我々は，DSMS 上でのコンセプトドリフト検出を 目指し，人工データと実データの二つのデータセッ トを用いて，実験を行った． [実験目的] コンセプトドリフト時に，SOM のマイクロクラス タへの割当て誤差に優意な差は認められるか確認す る．また，同時に，Gama らの Concept Drift 検出手法が有用かどうかを確認する． ３．２ 人工データ [データ] 100 次元の人工データを対象データとした．デー タは，ここで，各次元毎に，標準正規分布に従って 生成した．人工データ生成時には，クラス１とクラ ス２の２つのクラスを設定し，それぞれのクラスで データを 300 個ずつ生成した．データの生成は計 4 回行った．ここで，1 回目のデータをセット A，2 回目のデータをセットB，3 回目のデータをセット C， 4 回目のデータを D とする．各セットで，クラス 1 のデータは原点を中心にして生成した．しかし，ク ラス 2 のデータは，各セットで以下のような条件で 生成した． [セットA] 𝑥!,!= 1.0，𝑥!,!= 0.0 (𝑗 ≠ 1, 𝑖 = 1, ⋯ 300) [セットB] 𝑥!,!= 0.05，𝑥!,!= 0.0 (𝑗 ≠ 1, 𝑖 = 1, ⋯ 300) [セットC] 𝑥!,!= 0.05，𝑥!,!= 0.0 (𝑗 ≠ 1, 𝑖 = 1, ⋯ 300) [セットD] 𝑥!,!= 0.05，𝑥!,!= 0.0 (𝑗 ≠ 1, 𝑖 = 1, ⋯ 300) また，実験簡単化のため，DSMS 上ではなく，SOM のマイクロクラスタへの割り当てを逐次的に行うこ とで疑似オンライン環境として実験を行った． [実験手順] 1. 各セットで，クラス 1 のデータ 280 個をト レーニングデータとして，SOM の学習モ デルを作成した． 2. 各セットで，トレーニングデータとして用 いていないクラス 1 のデータ 20 個とクラ ス 2 のデータ 300 個を合わせた 320 個のデ ータをテストデータとした．また、このテ ストデータで，逐次的に入力する順をクラ ス 1(20 個)→クラス 2(300 個)とすること で、人工的なコンセプトドリフトを設定し た． 3. 各セットのテストデータにおいて、1.で作 成した学習モデルに入力データを逐次的 に割り当て，(2)式で求められる割り当て 誤差の変化を観察した．また，入力データ を割り当てるごとに，Gama らの Concept Drift 検出手法でコンセプトドリフトの有 無を確認した．また，この手法で用いられ る滑走窓の大きさは 10 に設定した．また， コンセプトドリフト検出のための優意水 準を 95%と設定したため，(3)式で𝛼 = 1.96 であった． [実験結果] セットA，B，C，D のテストデータの割当ての実 験結果として図 2〜5 を得た．図中の横軸は割り当 てたデータの入力順を示し，縦軸はそのときの割 り当て誤差を表す．また，各セットにおいて，テ ストデータの最初の 20 個の入力データはクラス １のデータ，それ以降の入力データはクラス 2 の データなので，Data Number 20(図中の青線)を境 にデータの種類が変化する．よって，Data Number 20，21 が人工的に設定したコンセプトドリフトで あると言える. 図 2：セット A の割当て誤差の変化． 図 3： セット B の割当て誤差の変化．
図 4：セット C の 割当て誤差の変化． 図 5：セット D の割当て誤差の変化． 図 2 では，Data Number 20 以降で割当て誤差が顕著 に増加していることがわかる．よって、図中の青色 の破線で示したコンセプトドリフト前後では，割当 て誤差に優意な差があることを確認した．また，図 3，4，5 においても，Data Number 20 を境にして， 割当て誤差がわずかながら増加していることが確認 できる． また、セットA〜D のすべてのセットの実験にお
いて，Gama らの Concept Drift 検出法で，このコン セプトドリフトを検出できることも確認した．今回 の実験では，実際にはすべてData Number 20 を境に してコンセプトドリフトが起こっているが，その検 知には各データセットで差が出た．各セットにおい て ， 初 め て コ ン セ プ ト ド リ フ ト を 検 知 し た Data Number は表 1 のようであった．セット B では、コ ンセプトドリフトの誤検出が発生し，設定したコン セプトドリフト以前にコンセプトドリフトを検出し た． 表 1：コンセプトドリフト検出の差． セット A セット B セット C セット D 初検知 (D.N.) 20 14 24 22 遅延 0 -6 4 2 クラス間の距離が十分に離れており，割当て誤差 に顕著な差が見られるセットA では，コンセプトド リフトを瞬時に検知できている事が分かる．これは コンセプトドリフトの種類が sudden drift[1]と呼ば れる種類のドリフトであることが大きな要因である と思われる．一方，クラス間の距離がセットA に比 べて短く，割当て誤差にセットA ほど顕著な差が見 られないセットC，D では検知に遅延が生じている 事が分かる．また，クラス間の距離が同じであるセ ットC，D 間でも、遅延に差が生じている理由とし ては，割当て誤差の増加の度合いと(3)式中の𝑝!"#の 更新による影響が挙げられると考える． まず，セット D で，遅延が小さくなった原因は， 割当て誤差の増加と合わせて，Data Number 10〜20 で割当て誤差が非常に小さな値をとったことによっ て，(3)式の𝑝!"#が更新され，コンセプトドリフトを 検出しやすくなったことが考えられる．セットC で は，コンセプトドリフト後すぐに，割当て誤差が大 きく増加したことが小さな遅延につながったと考え られる． ３．３ 実データ [データ]
UCI machine learning repository に公開されている 雲や山などの風景画像を 3×3 ピクセルごとに分割
したImage segmentation dataset を対象データとした．
これらのデータはすべて 19 次元であった．このデー タセットにはクラス１〜７の７つのクラスが存在し、 それぞれのクラスには 330 個ずつデータが含まれて いた． また，実験簡単化のため，人工データでの実験と 同様に疑似オンライン環境で実験を行った． [実験手順]
1. Image segmentation dataset のクラス 1 のデ ータ 320 個をトレーニングデータとして， SOM の学習モデルを作成した．
2. トレーニングデータとして用いていない クラス 1 のデータ 10 個とそれぞれ 330 個 のデータを持つ残りのクラス 2〜クラス 7 のデータセットを合わせてテストデータ とし，順にテストデータセット 1〜6 と名 付けた．また、それぞれのテストデータセ ットで，逐次的に入力する順をクラス 1(10 個)→クラス 2〜7(330 個)とすることで、 各テストデータセットに人工的なコンセ プトドリフトを設定した． 3. 各テストデータセットにおいて、1.で作成 した学習モデルに入力データを逐次的に 割り当て，式(2)で求められる割り当て誤 差の変化を観察した．また，入力データを
割り当てるごとに，Gama らの Concept Drift
検出手法でコンセプトドリフトの有無を 確認した．また，人工データにおける実験 と同様に，この手法で用いられる滑走窓の 大きさは 10 に設定した．また，コンセプ トドリフト検出のための優意水準を 95%と 設定したため，(3)式で𝛼 = 1.96であった． [実験結果] テストデータセット 1〜6 の割当ての実験結果とし て図 6〜11 を得た．図中の横軸は割り当てたデータ の入力順を示し，縦軸はそのときの割り当て誤差を 表す．また，各テストデータセットで最初の 10 個の 入力データはクラス１のデータ，それ以降の入力デ ー タ は ク ラ ス 1 と は 異 な る デ ー タ な の で ，Data Number 10(図中の青線)を境にデータの種類が変化 する．よって，Data Number 10，11 が人工的に設定 したコンセプトドリフトであると言える． 図 6：テストデータセット 1 の 割当て誤差の変化． 図 7：テストデータセット 2 の割当て誤差の変化． 図 8：テストデータセット 3 の 割当て誤差の変化． 図 9：テストデータセット 4 の割当て誤差の変化．
図 10：テストデータセット 5 の割当て誤差の変化． 図 11：テストデータセット 6 の割当て誤差の変化． 図 6〜11 のすべてで、Data Number 10(各図中の青 色線)を境にして割当て誤差が増加していることが わかる．また，各データセットにおいて，Gama ら のConcept Drift 検出法で，コンセプトドリフトを検 出することができた． よって，実データにおいても，コンセプトドリフ ト前後で割当て誤差に優意な差が見られる事を確認 し，また同時に，Gama らの Concept Drift 検出法で このコンセプトドリフトを検出することが可能であ ることを確認した．また，この時，コンセプトドリ フト検知における遅延はテストデータセット 3 が 0， それ以外のテストデータセットでは，遅延はすべて 1 であった．このように遅延が小さくなった理由と しては，すべてのテストデータセットにおいて，コ ンセプトドリフトの種類が，割当て誤差が急激に増 加する sudden drift[1]であったためであると考えら れる．
４．まとめ
本論文では，コンセプトドリフト適応型学習ベー スモニタリングシステムの実現を目指し、ユーザと のインタラクションが必要で低速な学習機能と，オ ンラインでの高速な処理を実現するデータストリー ム管理システム(DSMS)を組み合わせるアーキテク チャを提案した．この手法では，統計に基づいた動 的な閾値管理手法によりコンセプトドリフトを検出 し、適切なタイミングでモデルの更新を行うことで， 持続的なモニタリングを目指す． この手法実現の第一歩として，コンセプトドリフト検出性能の評価とGama らの Concept Drift 検出法
の有効性の確認を目的として人工データと実データ を用いた実験を行った．両実験において，線形デー タをSOM のマイクロクラスタへ逐次的に割り当て， その時の割り当て誤差の変化を観察した．なお，こ の時，データの入力順を作為的に並び替えることで， 人工的にコンセプトドリフトを起こした．結果とし て，両実験において，コンセプトドリフト前後で， 割り当て誤差に優意な差がある事を確認し，入力デ ータの SOM のマイクロクラスタへの割当て誤差が コンセプトドリフト検出基準として有効であること
を確認した．また，この時，Gama らの Concept Drift
検出法でこのコンセプトドリフトを検出できること も確認した．特に，人工データを用いた実験では， 割当て誤差の増加の度合いによって，コンセプトド リフト検知に遅延が生じる事や，誤検出が発生する 事も確認した． 今後は，これらの事を考慮に入れて，Concept Drift 検出法の改良，DSMS として用いる Odysseus への実 装、Labeling プロセスなどの構築を行うことで、提 案アーキテクチャの実現を予定している．さらに， 提案アーキテクチャを酸化物型燃料電池(SOFC)や その他構造物の物理的損傷に対するモニタリングシ ステムとして適用する．
謝辞
本研究の一部は「附置研究所間アライアンスによ るナノとマクロをつなぐ物質・デバイス・システム 創製戦略プロジェクト」特別経費（文部科学省）の 助成を受けて行われた．参考文献
[１] Indre Zliobaite, Learning under Concept Drift: an Overview, http://arxiv.org/abs/1010.4784, (2010) [２] J.Gama, Pedro Medas, Gladys Castillo, Pedro Rodrigues:
Learning with Drift Detection, Proceedings of 17th
Brazilian Symposium on Artificial Intelligence, Sao Luis, Maranhao, Brazil, pp. 286-295 (2004)
[３] Jonathan A. Silva, Elaine R. Faria, Rodrigo C. Barros, Eduardo R. Hruschka, Andre C. P. L. F. DE Carvalho, Data Stream Clustering: A Survey: ACM Computing
Surveys, Vol. 4, Issue 1, 13, (2013)
[４] 坂本悠輔，福井健一，Daniela Nicklas，森山甲一，沼 尾正行，持続可能なコンセプトドリフト適応型モニ
タリングシステムの提案，人工知能学会第28 回全国
大会論文集，1B2-OS-02a-1(2014)
[５] H.-Jurgen Appelrath, Dennis Geesen, Marco Grawunder, Timo Michelsen, Daniela Nicklas: Odysseus – A Highly Customizable Framework for Creating Efficient Event Stream Management Systems, Proceedings of the 6th
ACM International Conference on Distributed Event-Based Systems, pp. 367-368 (2012) [６] 福井健一, 赤崎省悟, 佐藤一永, 水崎純一郎, 森山甲 一, 栗原聡, 沼尾正行:固体酸化物燃料電池における 損傷過程の可視化, 日本機械学会論文集 A 編, Vol. 76, No. 762, pp. 223-232 (2010) [７] 北川哲平, 福井健一, 佐藤一永, 水崎純一郎, 沼尾正 行:キーグラフと SOM を用いた稀な重要事象抽出 による燃料電池の損傷評価, 情報処理学会論文誌:数 理モデル化と応用, Vol. 4, No. 2, pp. 1-12 (2011) [８] 佐藤一永, 橋田俊之, 八代圭司, 湯上浩雄, 川田達也, 水崎純一郎:模擬作動環境下における固体酸化物燃料 電 池 の 機 械 的 損 傷 評 価 法 の 開 発 , Journal of the
Ceramic Society of Japan, Vol. 113, pp. 562-564 (2005)
[９] Andras,P., Kernel-Kohonen networks: International
Journal of Neural Systems, Vol.12, pp.117-135 (2002)
[１０] Boulet, R., Jouve, B., Rossi, F. and Villa, N.: Batch Kernel SOM and Related Laplacian Method for Social Network Analysis, Neurocomputing, Vol. 71, pp. 1257-1273 (2008)
[１１] Swarnajyoti Patra, Susmita Ghosh, Ashish Ghosh: Unsupervised Change Detection in Remote-Sensing Images using Modified Self-Organizing Feature Map Neural Network, IEEE Proceedings of the International
Conference on Computing: Theory and Applications,
