家庭用ゲーム機の入力デバイスを用いた階層型ニューラルネットワークによるジェスチャ認識

全文

(1)情報処理学会論文誌. Vol. 51. No. 1. 199–203 (Jan. 2010). 1. はじめに. テクニカルノート. 近年，計算機は小型化・高性能化により，モバイル環境や情報家電など，その利用形態を. 家庭用ゲーム機の入力デバイスを用いた階層型ニューラルネットワークによるジェスチャ認識飯村. 伊智郎†1. 藤. 木. 拓. 郎†1. 中. 山. 茂†2. 多様化させながら，我々の実世界と融合しつつある．それにともない，人間が機械を自然に操作することを実現するための新しいユーザインタフェース技術の研究がさかんになっている．一般に，人間同士の意思や感情の情報伝達においては言葉による言語的手段に加えて，身振り手振りなどの身体メディアによる非言語的手段（ノンバーバルコミュニケーション）であるジェスチャも重要なコミュニケーションの 1 つであるといわれている1),2) ．このジェスチャを機械が理解することができれば，自然で直感的な新しい入力手段になりうるだろう．. ノンバーバルコミュニケーションであるジェスチャにおいて，人間の意思や感情は，手などの位置よりもむしろ身体に加えられた力に顕著に現れると考えられる．本論文では，運動中に働く力は加速度によって検出できることから，三軸加速度センサを用いた階層型ニューラルネットワークによるジェスチャ認識を試みた．家庭用ゲーム機 Wii に付属の Wii リモコンを入力デバイスとしたジェスチャ認識実験の結果，階層型ニューラルネットワークの入力値に単なる正規化された加速度の順列を用いることで，特定演者だけでなく不特定演者に対しても高い認識率を示し，汎用性のあるジェスチャ認識エンジンを構築できることが確認できた．. 最近の先行研究には澤田らの文献3) などがあり，加速度データあるいは加速度の特徴パターンを利用したジェスチャ認識に関する研究や実用システムの提案は数多く見られる．特に近年の携帯電話のいくつかには三軸加速度センサが内蔵されており，これを用いた直感的動作による入力も可能となっている．文献 3) 以降の加速度を用いたジェスチャ認識に関する澤田らの研究として，手話認識への応用4) やジェスチャによるデータ検索5) などへと発展させているが，本研究では，ジェスチャにおいて人間の意思や感情は，手などの位置よりもむしろ身体に加えられた力に顕著に現れる，とする澤田ら3) の見解にならい，運動中に. Gesture Recognition Based on Multilayer Neural Network by Using Input Device of Home Gaming Console. 働く力は加速度によって検出できることに焦点を当て，その加速度計測には本研究用途に専用装置を開発するのではなく，任天堂（株）の家庭用ゲーム機 Wii（ウィー）1 に付属の. Wii リモコンを入力デバイスとして採用しジェスチャの認識を試みた．Wii リモコンには，. Iimura,†1. Fujiki†1. Ichiro Takuroh and Shigeru Nakayama†2. Bluetooth や三軸加速度センサ，赤外線を検出する CMOS センサが搭載されている．本研究では，その Bluetooth によるケーブル接続不要の利便性と，三軸加速度センサによる加速度取得の容易性の観点から，入力デバイスとして Wii リモコンの採用を決定した．開発. We consider that the human intention and feelings conspicuously appear at the force added to a body rather than the positions of hands in the gesture that is nonverbal communication. In this paper, we tried gesture recognition based on multilayer neural network by using acceleration sensor because the force to act during motion can be detected by acceleration. As a result of our gesture recognition experiment in which the Wii remote attached to the home gaming console Wii was used as an input device, we have confirmed the following. By using the permutation of the simple normalized acceleration for input values of multilayer neural network, we have obtained high recognition rate in the case of not only specific performers but also unspecified performers. Therefore, we could develop versatile gesture recognition engine.. 199. 言語は Java 言語とし，Bluetooth を介した Wii リモコンの制御には WiiRemoteJ 1.5 2 を用いた．なお筆者らは，エンタテインメントへの応用として，三軸加速度センサで取得した人間の動作のバイオロジカルモーションデータ6) もとにした手旗信号の認識や感情の推定7),8) ，そして踊りや運動の教示などの応用システムを検討しており，本研究はその初期実 †1 熊本県立大学 Prefectural University of Kumamoto †2 鹿児島大学 Kagoshima University 1 http://www.nintendo.co.jp/wii/を参照されたい． 2 http://www.wiili.com/index.php/WiiremoteJ/ReadMe を参照されたい．. c 2010 Information Processing Society of Japan .

(2) 200. 家庭用ゲーム機の入力デバイスを用いた階層型ニューラルネットワークによるジェスチャ認識. (a) Top Fig. 1. (b) Side. (c) Perspective. (d) Front. (e) Diagonal. (a) “2” (Examinee A). (b) “2” (Examinee B). (c) “✩” (Examinee A). (d) “✩” (Examinee B). 図 1 三軸加速度センサ付き入力デバイスおよび加速度計測の対象とした二軸の方向 Input device with three-axes acceleration sensor and directions of two axes in which acceleration is measured.. 験に値する．. 2. ジェスチャ認識に用いた運動の特徴量本研究で加速度計測に用いた入力デバイスの外観を，図 1 (a)，(b)，(c) に示す．この入力デバイスで計測された x，y ，z 軸方向の加速度 ax (t)，ay (t)，az (t) のうち，図 1 (d) や. (e) に示すような x および z 軸方向の加速度を運動の特徴量として採用し，ジェスチャ認識に用いた．なお，ジェスチャの開始と終了は，図 1 に示される入力デバイスの A ボタン押. Fig. 2. 図 2 x および z 軸方向における正規化後の加速度推移 Transitions of normalized acceleration in the directions of x and z axes.. 下で判断するものとした．また，1 つのジェスチャをやり終える時間や力の強弱には，演者によって個人差が生じることが考えられる．そこで本研究では，演者ごとに計測された加速度 ax (t) と az (t) のデータ個数をそれぞれ Na 個に，それら加速度の各値を [0, 1] の区間に正規化した．その正規化後の x および z 軸方向の加速度を単純につなぎ合わせて生成された順列を，以降に述べる認識実験に用いるものとした．. あることが分かる．. 3. ジェスチャ認識 3.1 階層型ニューラルネットワークによるジェスチャパターンの認識実験. ここで一例として，被験者 A，B の数字 “2” と図形 “✩” のジェスチャに関する正規化後. ニューラルネットワーク（Neural Network: NN）は，人間の脳にある神経細胞（ニュー. の x および z 方向の加速度推移を，図 2 に示す．同図において，実線は正規化後の x 軸方. ロン）の仕組みをモデル化した情報処理機構である．本研究では，パターン認識などの問. 向の加速度推移を，点線は z 軸方向の推移を示しており，各軸方向の正規化後のデータ個数. 題への適用で実用性が確認されている 3 層の階層型ニューラルネットワーク（Multilayer. Na は 50 とした．図 2 (a) と (b) に示される異なる被験者のジェスチャ“2” の加速度推移を. Neural Network: MNN）を，ジェスチャパターンの認識に採用した．なお学習には，教師. 比較すると，その推移はほぼ同様の傾向にあることが確認できる．また，図 2 (c) と (d) に. あり学習法である誤差逆伝搬（Back-Propagation: BP）法9) を用いた．. ついても同様のことがいえる．一方，同じ被験者の異なるジェスチャにおける加速度推移は. 本実験では，図 3 に示される 10 パターンの数字ジェスチャと 7 パターンの図形ジェス. 明らかに異なっており，単なる加速度の推移ではあるがそれによるジェスチャ認識が可能で. チャを対象に，それぞれ個別の MNN を構築し，ジェスチャパターンを認識させた．認識実. 情報処理学会論文誌. Vol. 51. No. 1. 199–203 (Jan. 2010). c 2010 Information Processing Society of Japan .

(3) 201. 家庭用ゲーム機の入力デバイスを用いた階層型ニューラルネットワークによるジェスチャ認識. (a) Ten number-gesture patterns. (b) Seven figure-gesture patterns. 図 3 実験で用いたジェスチャパターン Fig. 3 Gesture patterns used in the experiment.. 験に用いる 1 パターンのデータは，2 章で述べたとおり，正規化後の x および z 軸方向の加速度を単純につなぎ合わせて生成された順列とした．なお，各軸方向の Na は 50 とした．. (a) Number gestures. (b) Figure gestures. 図 4 10 パターンの数字ジェスチャおよび 7 パターンの図形ジェスチャに関する認識率［%］ Fig. 4 Recognition rate [%] in terms of ten number-gesture and seven figure-gesture patterns.. 実験で用いるデータは，20 名の被験者から取得し，数字および図形ジェスチャのそれぞれに対して，1 パターンあたり 10 サンプルを取得した．ここで，被験者 20 名をランダムに. にそれぞれ示す．両表ともに，横軸はジェスチャの各パターンであり，縦軸は認識率［%］. 10 名ずつの 2 グループに分け，一方をグループ A，もう一方をグループ B として，用途に. である．なお，1 パターンあたり 10 サンプルを 1 名の被験者から取得しているため，DR+. より取得したデータを次のように分類した．. や DR− に対する認識率は，1 パターンあたり 100 サンプル（= 10 [サンプル/名] × 10 [名]）. 学習用データ（DL）グループ A に属する 10 名の被験者から取得したデータ．. 分の認識に成功すれば，認識率 100%となる．. +. 学習済者の認識用データ（DR ）学習用データとは別に，グループ A に属する 10 名の. 実験の結果から，学習済みの者の認識用データである DR+ に対する認識率は，ほぼ. 100%に達していることが確認できる．また，未学習者の認識用データである DR− に対す. 被験者から再度取得したデータ． −. 未学習者の認識用データ（DR ）グループ B に属する 10 名の被験者から取得したデータ． +. なお，DL は MNN の学習に用い，DR および DR. −. は認識実験に用いた．. MNN の構成は，入力層を 100 ユニット，中間層を 150 ユニットとし，出力層については，数字ジェスチャの場合は 10 ユニット，図形の場合は 7 ユニットとして，出力層の 1 ユ. る認識率についても良好な結果を示していることが分かる．このことから，今回構築した. MNN は，単なる加速度の羅列を入力データとするものの，特定演者だけでなく不特定演者に対してもきわめて高い認識率でジェスチャパターンを認識可能であることが分かる．本研究では，10 パターンの数字ジェスチャおよび 7 パターンの図形ジェスチャを対象に，. ニットをジェスチャの 1 パターンに対応させた．また，BP 法による学習に係るパラメータ. MNN によるジェスチャ認識エンジンを構築した．今回用いた入力デバイスである Wii リ. 値は，予備実験により決定し，学習係数 η = 0.25，安定化係数 α = 0.5 とした1 ．学習の. モコンが付属されている家庭用ゲーム機 Wii にはブラウザが搭載されているものの，現時. 終了条件は，出力層の出力値と教師信号との誤差の自乗和が 1.8 × 10−3 未満に達した時点. 点においては Wii リモコンにショートカットキーが用意されている10) だけであり，今回開. とした．. 発したジェスチャ認識エンジンを搭載することで，「戻る」や「進む」，「更新」などのブラ. 3.2 実験結果および考察. ウザ操作を，ジェスチャで行うなどの応用が期待できる．また，認識エンジンには MNN を. 数字ジェスチャに係る DL を用いて数字ジェスチャ認識用 MNN を，図形ジェスチャに係る. 採用したことから，ユーザに学習機能を提供することで，特定のユーザに特化した認識エン. DL を用いて図形ジェスチャ認識用 MNN を構築し，それぞれの MNN に対して認識実験を行った．数字ジェスチャに関する認識結果を図 4 (a) に，図形ジェスチャの認識結果を図 4 (b) 1 学習係数 η や安定化係数 α に関する詳細については，文献 9) を参照されたい．. 情報処理学会論文誌. Vol. 51. No. 1. 199–203 (Jan. 2010). ジンをユーザ側で構築させることも可能となる．. 4. 関連研究との比較本研究で構築したジェスチャ認識エンジンの有効性を確認するため，三軸加速度センサを. c 2010 Information Processing Society of Japan .

(4) 202. 家庭用ゲーム機の入力デバイスを用いた階層型ニューラルネットワークによるジェスチャ認識. 表 1 7 パターンの図形ジェスチャに関する認識率［%］の比較 Table 1 Comparison of recognition rate [%] in terms of seven figure-gesture patterns.. Gesture patterns Conventional Proposed (DR− ). 100 99. 100 98. 100 99. 80 98. ✩ 100 98. 80 97. ♥ 100 98. Average 94.3 98.1. かった．また，階層型ニューラルネットワークの入力値に単なる加速度の順列を用いることでも，特定演者だけでなく不特定演者に対しても高い認識率を示し，汎用性のあるジェスチャ認識エンジンを構築できることが確認できた．今後は，y 軸方向の加速度も考慮したより繊細なジェスチャの認識実験や，本手法を用いた手旗信号の認識や動作からの感情推定，そして踊りや運動の教示などの応用システムの研. 用いたジェスチャ認識に関連する澤田らの従来研究3) との比較を行った．未学習者に対する図形ジェスチャの認識率の比較結果を，表 1 に示す．なお文献 3) では，10 パターンの図形ジェスチャを取り扱っているが，「斜め振り」や「ひと振り」，「方向指示」の 3 パターンについては具体的な動作が不明であったため，それらを除いた図 3 (b) に示す合計 7 パターンのジェスチャを比較対象とした．文献 3) の従来手法では，x，y ，z 軸方向の加速度をもとに，動作の特徴量として，加速度の変化，回転力，加速方向の分布などを求め標準パターンとのマッチングを行うことによって認識を行うなど，本研究における認識手法とは異なるため，単純な比較はできないが，従来手法でジェスチャの特徴量が類似しており誤認識されたとにおいて，本手法では他のジェスチャパターンと同様の高い認識率を示しており，特定のジェスチャにおける認識率の低下は見られない．なお，7 パターンにおける平均認識率は，従来手法が約 94.3%であるのに対して，本手法は約 98.1%である．また，文献 3) に示されている各パターンの認識率は，特定の未学習者 1 名による 10 サンプルの結果であるのに対して，本手法における各パターンの認識率は 100 サンプル（未学習者 10 名からそれぞれ 10 サンプルを取得）の結果であることを考慮すると，少なくとも本手法の認識安定性は認められる．ちなみに，学習済者に対する図形ジェスチャの認識率を比較すると，従来手法が 100%で，本手法は約 99.3%と，ほぼ同等性能を示している．従来手法では，前述のとおり，三軸方向の加速度から，動作の特徴量として，加速度の変化，回転力，加速方向の分布などを算出して認識を行っているのに対して，本手法では，単なる二軸方向の正規化された加速度の順列を用いるだけで従来手法と同等の認識性能を示. 究・開発およびその評価を行っていきたい．. 参. 考. 文. 献. 1) 黒川隆夫：ノンバーバルインタフェース，オーム社 (1994). 2) 金山宣夫：世界 20ヵ国ノンバーバル事典，研究社出版 (1983). 3) 澤田秀之，橋本周司：加速度センサを用いたジェスチャー認識と音楽制御への応用，信学論 A，Vol.J79-A, No.2, pp.452–459 (1996). 4) 澤田秀之，橋本周司，松島俊明：運動特徴と形状特徴に基づいたジェスチャー認識と手話認識への応用，情報処理学会論文誌，Vol.39, No.5, pp.1325–1333 (1998). 5) 野津拓人，橋本周司，澤田秀之：マルチモーダル手話データベースとジェスチャを入力としたデータ検索，ヒューマンインタフェース学会論文誌，Vol.4, No.1, pp.51–58 (2002). 6) Johansson, G.: Visual Perception of Biological Motion and a Model for Its Analysis, Perception & Psychophysics, Vol.14, pp.201–211 (1973). 7) 石井雅博，丸田英徳：バイオロジカルモーションからの感情知覚に関する研究，信学技報，Vol.105, No.165, HIP2005-42, pp.123–126 (2005). 8) 丸田英徳，石井雅博：感情識別のための ICA によるバイオロジカルモーションデータからの特徴抽出について，信学技報，Vol.105, No.534, PRMU2005-172, pp.135–139 (2006). 9) Rumelhart, D.E., Hinton, G.E. and Williams, R.J.: Learning Internal Representations by Error Propagation, Parallel Distributed Processing, Vol.1, pp.318–362, MIT Press, MA (1986). 10) Opera Software ASA: Opera for Nintendo. 入手先 http://jp.opera.com/products/ devices/nintendo/wii/features/（参照 2009-02-14）. すことが確認できた．. (平成 21 年 7 月 22 日受付). 5. おわりに. (平成 21 年 10 月 2 日採録). 実験の結果から，本研究用途に加速度計測のための専用装置を開発するのではなく，任天堂（株）の家庭用ゲーム機 Wii（ウィー）に付属の Wii リモコンを入力デバイスとした本研究の認識手法で数字や図形のようなジェスチャパターンを十分に認識可能であることが分. 情報処理学会論文誌. Vol. 51. No. 1. 199–203 (Jan. 2010). c 2010 Information Processing Society of Japan .

(5) 203. 家庭用ゲーム機の入力デバイスを用いた階層型ニューラルネットワークによるジェスチャ認識. 飯村伊智郎（正会員）. 中山. 昭和 44 年生．平成 6 年上智大学大学院博士前期課程修了，同年（株）. 昭和 23 年生．昭和 52 年京都大学大学院博士課程修了，同年上智大学. 茂（正会員）. 日立製作所日立研究所入所，平成 9 年熊本県立技術短期大学校講師，平. 助手，昭和 56 年京都工芸繊維大学助手，昭和 62 年兵庫教育大学助教授，. 成 14 年熊本県立大学総合管理学部総合管理学科助手，平成 15 年同講師，. 平成 9 年より鹿児島大学工学部情報工学科教授．京都大学工学博士．平成. 平成 18 年同助教授，平成 19 年より同准教授．平成 16 年鹿児島大学大学. 8 年情報文化学会学会賞受賞，平成 12 年九州工学教育協会賞受賞．主と. 院博士後期課程修了．博士（工学）．平成 13 年情報処理学会大会奨励賞. して，分散オブジェクト，量子コンピュータ，群知能，進化的アルゴリズ. 受賞，平成 15 年日本機械学会計算力学部門優秀講演表彰受賞，情報処理学会九州支部奨励. ムの研究に従事．電子情報通信学会，電気学会，システム制御情報学会等各会員．. 賞受賞．主として，進化論的計算手法，群知能，分散並列処理，実世界指向ユーザインタフェースの研究に従事．電子情報通信学会，電気学会，システム制御情報学会，人工知能学会等各会員．藤木拓郎昭和 62 年生．平成 21 年熊本県立大学総合管理学部総合管理学科卒業．同年（株）メトロシステムズ入社．学士（総合管理学）．主として，実世界指向ユーザインタフェース，ニューラルネットワーク，コンピュータグラフィックスに興味を持つ．. 情報処理学会論文誌. Vol. 51. No. 1. 199–203 (Jan. 2010). c 2010 Information Processing Society of Japan .

(6)