多次元時系列データからのモーション検出・分類手法

DEIM Forum 2016 G4-5

多次元時系列データからのモーション検出・分類手法

菅野

滉介

†

奥

健太

††

川越

恭二

††

†

立命館大学情報理工学研究科

〒 525–8577 滋賀県草津市野路東 1 丁目 1-1

††

立命館大学情報理工学部

〒 525–8577 滋賀県草津市野路東 1 丁目 1-1

E-mail:

†

[email protected],

††

[email protected],

† † †

[email protected]

あらまし 近年モーションキャプチャの普及により様々な分野で活用されている．モーションキャプチャデータ（MCD）

は，関節等の様々な部位の位置や角度に関する多次元時系列データとして扱われる．しかし，アプリケーション毎に

異なる動きの特徴を用いるため，既存手法では精度や処理速度の観点から，MCD をスポーツトレーニング等のアプ

リケーションに適用することが難しい．そこで，本研究では，多次元時系列データ類似度算出方法である A-LTK を

拡張した新たな部分シーケンスマッチング手法 A-LTK for MCD を提案する．

キーワード モーションキャプチャ，データマイニング，時系列データ

1.

は じ め に

近年，センサテクノロジの進化により，様々なストリーミン グデータが取得可能となった．中でもモーションキャプチャは， 映画やCG，ゲーム，医療，スポーツ等の様々な分野で活用さ れている． モーションキャプチャデータ（MCD）を用いた既存の研究に は，映像を用いた方法や動作モデル/骨格モデルを用いた方法 がある．後者の動作モデル/骨格モデルを用いる研究では，関 節等の様々な部位の位置や角度に関する多次元時系列データと してMCDが扱われる．しかし，アプリケーション毎に異なる 動きの特徴を用いるため，既存の手法では精度や処理速度の観 点から，MCDをスポーツトレーニング等のアプリケーション に適用することが難しい． そこで，本研究では，多次元時系列データ類似度算出方法 であるA-LTK [1]と，A-LTKを拡張したA-LTK2.0 [2]を提

案した．A-LTKは，βと呼ばれるパラメータを変えることで， 精度と計算コストを制御可能な類似度算出手法である．一方， A-LTK2,0では，A-LTKを部分シーケンスマッチングに適用 するため，二段階の処理を行い精度と計算コストのバランスを 取った． しかし，MCDは関節の位置や角度に関する3次元データの 集合として表されるため，MCDを通常の多次元時系列データ として扱う既存方法で正確な精度を求めるためには，多くの処 理時間が必要となる．そこで，本論文では，特徴のある関節集 合ごとに類似度を算出することで精度と処理効率を向上させる 部分シーケンスマッチング手法であるA-LTK for MCDを提 案する．

2.

関 連 研 究

本章では，モーションの検出についての研究を述べる．2. 1 節では，映像を用いた研究について述べ，2. 2節で動作モデル/ 骨格モデルを用いた研究について述べる．最後に2. 3多次元時 系列データの分類手法に関する研究について述べる． 2. 1 映像を用いた研究 Caoら[3]は，人間行動の検索について研究を行った．彼ら は，行動パターンを抽出するため，3Dシフトに基いた映像のマ イニング手法を提案した．Turagaら[4]は，機械学習によって 映像から人間の行動が認識できるか調査を行った．この調査は， 行動のモデリング，low-levelの特徴抽出，活動のモデリングの 3つの視点から行われている．Renら[5]は，カメラの画像か ら深度情報を用いたハンドジェスチャーの認識手法を提案した． 彼らは，Kinectから取得した深度情報を用いて，提案手法であ

るFinger-Earth Mover’s Distance(FEMD)を評価した． これらの研究では，映像を用いた人間行動の認識を使って， 様々な手法やアプリケーションが提案されている．しかし，本 研究では，映像ではなく動作モデル/骨格モデルを用いた人間 の行動を用いるため，その点で異なっている． 2. 2 動作モデル/骨格モデルを用いた研究 Rptisら[6]は，Kinectから得られたスケルトンデータか ら，ダンスのジェスチャーを分類する手法を提案した．彼らは， skeleton-tracking手法という特徴ベクトル抽出手法を開発し， その特徴ベクトルからダンスのジェスチャーを推測した．彼ら は，16個の節から構成されているスケルトンデータを用いて評 価を行った．Zhangら[7]は，ゴルフのスイングを評価するた めのシステムを提案した．彼らは，Kinectから得られたスケル トンデータから特徴を抽出し，隠れマルコフモデルを用いるこ とで評価を行った．Kapadiaら[8]は，モーションデータベー スと検索システムを提案した．彼らも，入力にKinectから得 られるデータをクエリとしている．彼らは，高速な検索を可能 とするために索引付に用いる幾つかのキーを開発した． これらの研究では，Kinectのスケルトンデータに特化した分 類方法が開発されている． 2. 3 多次元時系列データの分類研究 Matsubaraら[9]は，ストリームデータから意味のあるモー ションパターンを検索し，異常なデータを検出する手法を提案 した．彼らの提案したStream Scanは，複数の情報を持つスト リームデータを監視する．この手法では，1次元の時系列デー

図 1 A-LTKの例

タを分類する手法を組み合わせることで，多次元に対応してい

る．Hoら[10]は，サイクロンの軌道を多次元時系列データと

し，それを分類する手法を提案した．彼らは，次元数を減らす ためにIsometric Feature Mapping(ISOMAP)という手法を開

発し，類似度算出にLCSを用いて評価を行った． しかし，これらの研究では1桁程度の少ない次元数のデータ セットを用いて評価が行われている．本研究では，MCDのよ うな2桁以上の次元数の多次元時系列データを対象としている．

3.

従 来 研 究

時系列データ間の類似度算出手法は多く提案されている．例 としてユークリッド距離やマンハッタン距離等が存在する．し かし，これらの手法は部分シーケンスマッチングに適用できな い．そこで，部分シーケンスマッチングにも適用可能な類似度 算出手法が提案されてきた． 3. 1 DTW DTWは有名な時系列データ間の類似度算出手法である． DTWは，高い精度を得ることが可能だが，O(n2)なため計算 コストが大きいことが知られている．そのため，DTWの計算 コストを減らす手法が多く開発されている． 3. 2 AMSS

中 村 ら[11] は ，Angular Metrics for Shape Similarity (AMSS)を提案した．AMSSは，DTWと同様に動的計画法で あり，以下の式で定義される． AM SS(∆S1, ∆S2) =                                  0

if length(∆S1) = 1 and length(∆S2) = 0,

−∞ if length(∆S1) = 1 or length(∆S2) = 1, Sim(H(∆S1), H(∆S2))+ max(AM SS(∆S1), R(∆S2)), AM SS(R(∆S1), ∆S2)), AM SS(R(∆S1), R(∆S2)) otherwise. 3. 3 A-LTK

A-LTK(Multi-dimensional time series Approximation with use of Local features at Thinned-out Keypoints) [1]は，処理 時間を軽減可能なように考案された時系列データの類似度算出 方法である．A-LTKの特徴は，2つある．まず，時系列データ を間引くことで処理時間を軽減する．次に，その間引いたデー タを用いて，局所特徴ベクトルを生成し，新たな時系列データ を構築する． 3. 3. 1 keypoints 時系列データを間引き，残った時刻点をkeypointsと呼ぶ． keypointsの選別には，2つの方法がある． まず，前後の点との差分を取る．その差分がある閾値以上の 時にその点をkeypointsとする．次に，二階差分を取る．その 二階差分がある閾値以下の時にその点をkeypointsとする． 以下に示す β は，抽出するkeypointsの数を制御するため に使われる． β= keypointsの数 元の時系列データの時刻点の数 (1) 3. 3. 2 局所特徴ベクトル 次に，3つの局所特徴ベクトル生成方法を記述する．一つ目 である式(2)は，ある点の前後の点を結合し，新たなベクトル を構築する．二つ目の方法である式(3)は，前後の点との差分 を取り，局所特徴ベクトルを構築する．三つ目の手法である式 (4)は，先述した手法の組み合わせである． pBi=(vi−p, ..., vi, ..., vi+p) (2) qΔi=(vi−q+1− vi−q, ..., vi− vi−1, (3)

vi+1− vi, ..., vi+t− vi+t−1)

pB + qΔi=(pBi, qΔi) (4) A-LTK で は ，類 似 度 算 出 に コ サ イ ン 類 似 度 を 用 い る ． AS =< a1(t = KP1), a2(t = KP2), ..., ar(t = KPr) >は， A-LTKによって処理されたベクトルであり，ak(t = KPk)は 時刻点kにおけるkeypointとする．この時AS1 とAS2 と いう2つの特徴ベクトル間の類似度を算出するための関数 DA−LT K(A, B)は，以下のように定義される． DA−LT K(AS1, AS2) =                                              ∞

if length(AS1) = 0 and length(AS2) = 0,

0

if length(AS1) = 0 or length(AS2) = 0,

COS(H(AS1), H(AS2))+

(max(DA−LT K(AS1, R(AS2),

DA−LT K(R(AS1), AS2),

DA−LT K(R(AS1), R(AS2))

/(length(AS1) + length(AS2)− 1) otherwise.

DTWやAMSSと同じような数式で表現されるが，正規化を 行う点で異なっている． 3. 4 A-LTK2.0 A-LTKは，β というパラメータを用いて精度と計算コスト の制御を行っていた．しかし，β パラメータが100%に近い場 合DTWやAMSSのような既存手法と同じ結果となる．また， 部分シーケンスマッチングへの適用を考慮した際に小さすぎる β の値も類似度の算出をより困難にさせる．そこで，我々は β

パラメータに着目し，A-LTKを拡張した部分シーケンスマッ チング手法であるA-LTK2.0を提案した． 3. 4. 1 ‘Coarse to Fine‘手法 A-LTK2.0では，部分シーケンスマッチングを二段階で行う． 以下にA-LTK2.0の基本的なアイディアを示す．二段階処理 に2つのタイプのA-LTKを用いる．一段階目は，β の値を

小さくしたA-LTKであるCoarse A-LTKを用いる．Coarse A-LTKでは，少ない数のkeypointsを抽出する．また，Coarse

A-LTKでは，閾値 ε を設定し，その閾値よりも類似度が低い

部分シーケンスをフィルタリングする．二段階目は，β の値

を大きくしたFine A-LTKを用いる．Fine A-LTKでは，一

段階目のフィルタリング処理で残った部分シーケンスについて keypointsを一部復元し，より詳細なマッチングを行うことで， 精度と計算コストのバランスを取る． 図 2 A-LTK2.0 3. 4. 2 部分シーケンスマッチング A-LTK2.0における部分シーケンスマッチング方法について 記載する．

A-LTK2.0 で は ，Coars A-LTK と Fine A-LTK で 異 な る パ ラ メ ー タ を 使った ス ラ イ ディン グ ウィン ド ウ を 行 う．

Coarse A-LTKで用いるパラメータを βCoarse，W sizeCoarse， SlengCoarse とする．Fine A-LTKで用いるパラメータを β F ine，W sizeF ine，SlengF ineとする．異なる β パラメータを

用いたA-LTKによって間引かれるためスライディングウィン ドウに用いるパラメータが異なる．その元となるウィンドウサ イズW sizeは，入力クエリの時刻点の数とする． 3. 5 A-LTK2.0における評価実験 この実験では，社交ダンス（ルンバ）のデータセットを用い て実験を行った．各データの次元数は，57次元(19*3)で構成 されている．このデータセットは，ルンバの基本ステップが41 個あり，それら全てを含む長いシーケンスのデータが1つ存在 する．それぞれのデータの長さは，基本ステップの平均が1348 フレーム，長いシーケンスが3448フレームである．これらの データを元にDTW，AMSS，A-LTKの各手法にスライディン グウィンドウ方式を適用し，比較を行った． 3. 6 実 験 結 果 図3より，A-LTK2.0が他の手法より良い精度となった．し かし，図4より，A-LTK2.0では二段階の処理を行うため， A-LTKに処理時間の面で劣る結果となった．そこで本論文では， MCDの特徴を活かす手法であるA-LTK for MCDを提案する． 図 3 精 度 図 4 処 理 時 間

4.

A-LTK for MCD

本章では，A-LTKをMCDの特徴に合わせ拡張したA-LTK for MCDについて記載する． 4. 1 基本的考え方 MCDは，関節の位置や角度に関する3次元データの集合と して表される．そのため，MCDを通常の多次元時系列データ として扱う既存手法で正確な精度を求めるためには，多くの処

理時間が必要となる．そこで，A-LTK for MCDでは，A-LTK

をよりMCDに適したマッチングとするため，MCDを腕，上 半身，下半身，脚等の複数のパーツのデータに分け，部分的な 特徴点を用いることで精度向上と処理時間の削減を目指す． 4. 2 MCD MCDは，J個の関節を持ち，各関節はxyzの3次元の位置 情報または角度情報を持っている．この時，MCDの次元数は (J∗ 3)次元となる．また，MCDはM 個の時刻点を持ってい る．時刻点同士の間隔をs秒とした時，一つのデータの長さは (M∗ s)秒で表される． 4. 3 手 法 A-LTK for MCDにおける部分シーケンスマッチング手法の 定義を以下に記載する． 多くの動きを含む長いシーケンスのMCDをTとする．Tの 時刻点の数をNtとした時，T =< t1, t2, ...tNt>となる．同様

に，部分シーケンスマッチングのクエリとして用いるデータを Q，Qの時刻点の数をNqとした時，Q =< q1, q2, ...qNq >と なる．この時，Nt> Nqを必ず満たす． まず，任意のj(1 < j < J )個の関節からなるデータTsubjoint とクエリQsubjoint作成する．次にA-LTK2.0にスライディン グウィンドウ方式を適用し，Tsubjointの中からQsubjointと類似 度の高い部分を抽出する．異なる関節集合subjointごとに類似 度の高い部分Tsubjointが抽出される．抽出されたTsubjointか ら，もっとも類似した部分シーケンスを求めるためにTsubjoint の集約処理を行う．集約処理には，最も単純な集約処理である 関節集合を一つの多次元データとして扱う方法を使用すること とする． 4. 4 評 価 方 法 任意の関節からなるデータのパターンを複数用意し，その データを元に部分シーケンマッチングが可能かどうか評価を行 う．比較手法として，A-LTK2.0やA-LTK等の類似度算出手 法だけでなく，既存次元圧縮手法であるSVDやPCAを適用 したデータを用いたA-LTK2.0との比較も行う． しかし，任意の関節からなるデータのみで部分シーケンスの マッチングが可能であるかの妥当性の検証を最初に行うことは 難しい．そこで，まずは完全なマッチングが可能であるかの検 証を行う．任意の関節からなるデータのみで類似度算出が可能 かどうかを判断する予備実験を行った．

5.

予 備 実 験

A-LTK for MCDでは，特徴のある関節のデータのみを用い ることで次元数を減らす．そこで，どの関節が最もMCDとし ての特徴を示しているのか調べる実験を行った．なお，MCD を用いた完全なマッチングを行い，精度の高い関節の集合のい くつかをA-LTK for MCDを用いた部分シーケンスマッチン グにて評価を行う． 5. 1 データセット 社交ダンス（ルンバ）のデータセットを用いて予備実験を 行った．このデータセットは，予め11カテゴリに分類された 41個のデータが存在する．各データの関節数Jは19で，次元 数は57(19∗ 3)である．また，データの平均時刻点数Mavgは 1341.54個で，平均の長さは13.42秒である．図5は，MCD の例である． 図 5 MCDの例 5. 2 実 験 内 容 本予備実験では，19の関節を人の特徴を元にして下記の4グ ループに分類した． • 全身（19関節全て） • 上半身（11関節） • 下半身（8関節） • 両腕（6関節） • 両足（6関節） 類似度算出手法には，A-LTKを用いた．また，A-LTKでの 特徴ベクトルの構築方法には，1B を用いた．本実験では， 0.3, 0.5, 0.8の3パターンで β を変化させ，各々の精度と処理 時間を評価した． 表 1 予備実験結果（精度） 全身 上半身 下半身 両腕 両足

β = 0.8

0.634

0.293

0.707

0.536

0.609

β = 0.5

0.659

0.415

0.683

0.561

0.659

β = 0.3

0.683

0.415

0.610

0.561

0.585

表 2 予備実験結果（処理時間 (sec)） 全身 上半身 下半身 両腕 両足

β = 0.8

62.00

57.45

57.98

56.29

56.96

β = 0.5

27.01

23.77

24.39

23.39

23.85

β = 0.3

12.21

10.14

9.98

9.47

9.31

5. 3 実 験 結 果 表1と表2は，予備実験の結果を表している．この結果から， 完全なマッチングでは，従来の全ての関節を使った全身の多次 元時系列データと同程度もしくはより良い精度であることが分 かる．また，処理時間についても軽減されていることが分かる． そこで，今後は，集約処理と部分シーケンマッチングに適用を 行い，精度と処理時間の評価を行っていく予定である．

6.

お わ り に

本研究では，特徴のある関節集合ごとに類似度を算出するこ とで精度と処理効率を向上させる部分シーケンスマッチング手 法であるA-LTK for MCDを提案するための予備調査を行っ た．MCDを腕，上半身，下半身，脚等の関節集合のデータに 分けることで，どの部分が最も特徴を捉えているか調べる実験 を行った．実験結果から，今回使用したデータセットでは，従 来よりも同程度もしくはより良い精度での検出が可能であるこ とが分かった．また，処理時間については軽減されていること も分かった．今後は，部分シーケンスマッチングでの評価を行 う予定である．また，他のデータセットでの調査も行い特徴の ある部分が手動や固定ではなく，自動で検出する手法も検討を 予定している．

7.

謝

辞

本研究の一部は，文科省私大戦略的基盤系性支援事業（ 2013-17）およびJSPS科研費24300039の助成を受けた．

文 献

[1] Yu Fang el al. Multi-dimensional time series approximation using local features at thinned-out keypoints. In ICCSIT

2014.

[2] Kenta Oku Kosuke Sugano, Yu Fang and Kyoji Kawagoe. A coarse-to-fine method for subsequence matching of hu-man behavior using multi-dimensional time-series approxi-mation. In 17th International Conference on Information

Integration and Web-based Applications and Services (ii-WAS2015).

[3] Y. Gao W. Liu L. Cao, R. Ji and Q. Tian. Mining spa-tiotemporal video patterns towards robust action retrieval. In Neurocomputing, Vol. 105, pp. 61–69, 2013.

[4] P. Turaga, R. Chellappa, V.S. Subrahmanian, and O. Udrea. Machine recognition of human activities: A survey. Circuits and Systems for Video Technology, IEEE

Transactions on, Vol. 18, No. 11, pp. 1473–1488, Nov 2008.

[5] Zhou Ren, Jingjing Meng, and Junsong Yuan. Depth cam-era based hand gesture recognition and its applications in human-computer-interaction. In Information,

Communica-tions and Signal Processing (ICICS) 2011 8th International Conference on, pp. 1–5, Dec 2011.

[6] Michalis Raptis, Darko Kirovski, and Hugues Hoppe. Real-time classification of dance gestures from skeleton animation. In Proceedings of the 2011 ACM

SIG-GRAPH/Eurographics Symposium on Computer Anima-tion, SCA ’11, pp. 147–156, New York, NY, USA, 2011.

ACM.

[7] Lichao Zhang, Jui-Chien Hsieh, and Jiangping Wang. A kinect-based golf swing classification system using hmm and neuro-fuzzy. In Computer Science and Information

Process-ing (CSIP), 2012 International Conference on, pp. 1163–

1166, Aug 2012.

[8] Mubbasir Kapadia, I-kao Chiang, Tiju Thomas, Norman I. Badler, and Joseph T. Kider, Jr. Efficient motion retrieval in large motion databases. In Proceedings of the ACM

SIGGRAPH Symposium on Interactive 3D Graphics and Games, I3D ’13, pp. 19–28, New York, NY, USA, 2013.

ACM.

[9] Y. Matsubara, Y. Sakurai, N. Ueda, and M. Yoshikawa. Fast and exact monitoring of co-evolving data streams. In Data

Mining (ICDM), 2014 IEEE International Conference on,

pp. 390–399, Dec 2014.

[10] Shen-Shyang Ho, Wenqing Tang, and W. Timothy Liu. Tropical cyclone event sequence similarity search via di-mensionality reduction and metric learning. In

Proceed-ings of the 16th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’10, pp.

135–144, New York, NY, USA, 2010. ACM.

[11] 中村 徹夜. 他. Amss:時系列データの小売雨的な類似度測定手