寺社仏閣での独自データセットを用いた行動分類

図9.11：定義した6つの行動のサンプル画像 (a) 歩く

(b) 拝む

(e) しゃがむ

(d) 賽銭箱を覗く

(c) 写真撮影

(f) キョロキョロ

図9.11より，このデータセットは屋外環境で撮影し，天候変化による照明環境や水溜ま りにおける太陽光の反射など分類を難しくする条件を多く含んでいることが確認できる．

また各映像は，フルHD 映像内の一部の時間での1人物の領域を切り出して作成し，画像 サイズと時間の長さは映像毎に異なる．“歩く”，“拝む”といった行動はデータの採取が容 易であるが，“賽銭箱を覗く”や“しゃがむ”等の異常行動は採取できる数は限られている．

ゆえに防犯カメラから撮影された映像を基にその行動を我々研究チームが実演した映像を 一部含んでいる．また防犯カメラの設置位置を図9.12(a)に示す．カメラと賽銭箱の距離は 約30mであり，賽銭箱前における映像内の人物サイズは約30×60 pix.である．

図9.12：カメラ位置と撮影環境

賽銭箱

定点カメラ

(b) 撮影環境 (a) カメラ位置

9.3.1項ではDollarらの手法を時空間に対して頑強性を高めた特徴量抽出アルゴリズムの性 能を評価し，従来法と比較して性能の向上を確認できた．そこで本項においては，提案す る寺社仏閣に特化した行動分類システムの性能を 9.3.1 項で評価した特徴量抽出アルゴリ ズム〈以降 Multi-Scale Cuboid（MS-Cuboid）と記述する〉と比較する．この時MS-Cuboid の識別器として SVM を用いる．2 つ目の評価項目として，提案手法の 6 行動の分類率を

Confusion Matrixを使い評価する．ここで本実験ではVisual Word数を850，pLSAの潜在ト

ピック数は 22，PrefixSpanの最小サポート距離は2に設定する．これらパラメータは実験 的に決定している．そして特徴点検出における各パラメータは KTH データセットを用い た実験と同様の値とする．図 9.13では寺社仏閣でのデータセットを使い，6行動について の従来法との分類率の比較実験の結果を示す．また提案手法の 6 行動の分類率を示した Confusion Matrixを表 9.3に示す．

図9.13：寺社仏閣における独自データセットでのMS-Cuboidとの分類率の比較結果

表9.3：寺社仏閣におけるデータセットを用いた実験における提案手法の各行動の分類率

写 真撮 影

拝む 歩 く

し ゃが む

賽 銭 箱を 覗 く

キ ョ ロ キ ョ

ロ (%)

写真撮影 29.4 17.6 0 0 35.2 17.6 拝む 40 50 5 0 5 0 歩く 0 0 96 0 4 0 しゃがむ 0 5 0 78.9 15.7 0 賽銭箱を覗く 22.2 5 0 16.6 44.4 11 キョロキョロ 36.8 21 0 0 5.3 36.8

図 9.13，表 9.3 の実験結果から提案手法の平均分類率は 60.2％であり，MS-Cuboid の

50.4％と比較して 10％程の性能向上を確認できる．また 3 つの異常行動については全て

MS-Cuboidよりも分類率が高い．特に最も複雑な“賽銭箱を覗く”行動は30％程性能の向

上を確認できる．“賽銭箱を覗く”行動は体の横移動や頭を下げる動作等の多くの状態変化 を含むことから他の行動より分類が難しいが，提案手法は行動を行動素に分解し，行動素 の組み合わせと順序に注目することで複雑な行動を従来よりも正確に分類できるようにな ったと言える．しかし平均分類率は60.2％であり，未だ実用段階には至っていない．

また正常行動である“写真撮影”は手の動きのみから判断しなければならず，特徴点が 十分に検出できずに分類精度が低下している．これは写真を撮り始めると静止状態になっ てしまい，時間軸方向の変位が失われ，時間軸のGaborフィルタによる特徴が抽出できな いことが原因であると考えられる．同様に“拝む”と“キョロキョロ”は静止状態になる ことが原因で特徴点を十分に検出できず，誤って“写真撮影”として分類する傾向にある．

これらの事例より本章の特徴点検出アルゴリズムの課題は静止した人物の特徴点検出をで きないことであり，静止状態においても人物の特徴情報を抽出できるアルゴリズムへの発 展は今後の課題であると言える．

また学習映像の数は十分とは言えず，データに依存した結果が得られていると考えられ，

今後は実環境映像の更なる採取が要求される．そして異常行動として想定される“建造物

への傷つけ”行為など分類が難しい行動の追加も今後必要である．しかし異常行動の映像 については，実際の不審者映像の採取は困難であるので，警察関係者など有識者の見解を 参考に映像を作成することで，より迫真性の高い映像を採取できると考えられる．