Human–Computer Interactionのための手の運動制御とその応用

(1)

77 玉城： Human–Computer Interactionのための手の運動制御とその応用

Human–Computer Interactionのための手の運動制御とその応用

玉城絵美

早稲田大学人間科学部人間科学学術院

Hand gesture control for Human–Computer Interaction and the applications

Emi Tamaki

Waseda University

In this article, PossessedHand and its discussions are reported. PossessedHand have been researched in HCI (Human–Computer Interaction) field to tell users the finger movement from the computer. By giving a functional electrical stimulation to the forearm muscles via the electrode pads around the arm, the device control users finger motions and tell the information. While applied research of PossessedHand have been actively carried out primarily the engineering field, it is not yet elucidated perception that changes in continuous use and efficiency of motor learning using PossessedHand. Therefore, basic psychology researches of PossessedHand are required. Based on the research results in the engineering field, the real life uses of PossessedHand is discussed.

Keywords: hand gesture, HCI (Human–Computer Interaction), motor control

工学的な背景と研究目的本研究では，手に装置を接触させず，手の動作と触感を阻害しない，コンピュータとヒトとの情報伝達を目的としている。手は，ヒト同士の情報伝達を行う器官（装置）として重要な役割を果たしているが，他のヒトの器官に比べてコンピュータとの融合はなされていない。たとえば，目とコンピュータとの融合は，コンピュータへの情報入力としてアイトラッキング装置（NAC Image Technology, 1990）が知られている。逆にコンピュータから目への情報出力としてフラットディスプレイ（Fuji Chimera Research Institute, Inc., 2006），網膜 HMD （Brother Industries, Ltd., 2010）が挙げられる。この二つの情報技術により，コンピュータへの情報入出力のための視覚の機能拡張が行われ，様々な応用分野で活用され，一般利用されている。手の姿勢を用いたコンピュータへの情報伝達のための装置と技術としてMasterSlave （Naka gawara, Kajimoto, Kawakami, Tachi, & Kawabuchi, 2005）があるが，研究目的で開発された技術であり，実生活での手の触感を阻害してしまうため，一般利用化には至っていない。手の情報伝達を拡張する技術は，手の動作と触感を阻害してしまうため，研究以外での応用は難しかった。そこで，28個の非侵襲性のパッド型電極を用いて，腕に内在する手指を駆動する筋肉に電気刺激を与えて，手を制御する PossessedHand （Tamaki, Miyaki, & Rekimoto, 2011）（H2L, Inc., 2012）（Figure 1）を提案した。 技術概要 腕からの電気刺激によって手指を駆動する際，使用する電極パッドの位置つまり刺激経路，電気刺激のレベルと手指の動作は，個人や電極パッドの装着位置によって異なるため，それらの初期設定手法を提案した。各指動作時の刺激経路を特定することによって各指に関連している筋肉の位置を特定し，電気刺激のレベルによって各指で連動動作する関節を特定する。刺激経路と電気刺激のレベルを組み合わせた全ての電気刺激を与え，その刺激と対応する手指の動作を登録することにより，個人ごとに電気刺激に関する事項を設定した。初期設定手法の処理の流れと本研究の代表的な工学的実験と測定を，続けて記述する。初期設定手法の処理の流れ各関節動作に用いる各々の電極パッドの位置と電気刺激の大きさ（刺激に用いる

The Japanese Journal of Psychonomic Science

2014, Vol. 33, No. 1, 77–80

講演論文

of Human Sciences, Waseda University, 2–579–15 Mikajima, Tokorozawa, Saitama 359–1192, Japan. E-mail: hoimei@ acm.org

(2)

78 基礎心理学研究第33巻第1号電力）の個人差に対応するための初期設定手法をソフトウェア上で行う処理の流れを説明する。以下に示す1から5の処理上でどの位置の電極パッドが，どの関節動作に使用されているのか装着ごとに確認し，個人差と装着位置のずれによらない再現性を保証する。 1） PossessedHandのベルトを前腕の手首と肘の中心から遠位と近位に離し20 mmの位置に装着する。 2）遠位と近位のベルトから対になる14組の刺激経路と12段階の電気刺激の大きさの組み合わせ，合計 168の電気刺激，つまり出し得る限りの全ての電気刺激の組み合わせを腕の前周囲に与える。 3）手指関節の動作が，外部観察で確認された場合， PC上のソフトウェアから手指関節の動作をシステムに登録する。 4）処理3により，自動的に電気刺激の大きさと経路と 関節動作の対応表が作成される。 5）また，各指の関節の独立動作と連動動作の切り替わりについて，電気刺激の大きさの閾値が決定される。代表的な工学的実験と測定実験各関節の動作前述の“技術概要”における初期設定手法を用いたときの，各関節の動作について実験を行った。初期設定手法の処理を行った時の各関節の動作状況が他の関節と連動した動作なのか，他の関節と連動しない独立動作なのか確認し，実験結果とした。ただし，一つの関節に対して連動動作する電気刺激と独立動作する電気刺激の二つのパータンが存在する場合もある。仮説腕と手の筋肉と腱の構造と電極パッドで単独に刺激できる筋肉の大きさを想定した場合，屈曲動作に関して，親指のDIP関節（Proximal Interphalangeal joint, 近位指節間関節）は独立動作し，人差し指，中指と薬指のそれぞれのPIP 関節（Distal Interphalangeal joint, 遠位指節間関節）も独立動作する。参加者 8名（20代の健康的な男女）。参加者は，手の甲を上にして腕を10 cm高の枕に置いた状態で実験に協力して頂いた。また，実験中は参加者に手指を脱力した状態にするよう指示した。刺激電気刺激のパルス周波数は40 Hz, パルス幅は 0.2 msとした。刺激内容は，前述の初期設定手法の処理の流れの通りである。結果人差し指，中指と薬指のそれぞれのPIP関節も独立動作したが，親指の DIP関節は親指のPIP （IP）関節と連動動作した。親指のDIP関節は参加者一人を除いて独立動作しなかったが，親指，人差し指，中指と薬指は他の指と連動せずに独立して屈曲動作を制御することが可能であることが確認された。考察各関節の動作確率平均をTable 1に示す。ただ Figure 1. (Left) The prototype of PossessedHand. (Right) Examples of finger-joint movements by PossessedHand.

(3)

79 玉城： Human–Computer Interactionのための手の運動制御とその応用

し，Table 1内のMP関節とは，MetacarPophal-angeal joint つまり中手指節間関節である。8人の参加者中，1人の参加者は，親指のDIP関節と小指のPIP関節が独立動作し，小指も他の指と連動せずに動作した。同参加者は，ピアノ演奏を幼少のころより頻繁に行っており，日常的に親指や小指を独立して動作させる環境にあったと後日判明した。同参加者は，親指と小指を動作させる筋肉が発達しているため，親指と小指を動作させる筋肉への単独の電気刺激が可能になったのではないかと推測される。また，親指のDIP関節と小指のPIP関節は，ユーザの手指と腕の状態により制御可能かどうか変化するとも推測される。測定各指の力の大きさ前述の初期設定手法後にPossessedHandの制御によって各手指に発生する力を測定した。参加者 8名（20代の健康的な男女）。参加者は，参加者の手の甲はテーブル面に接触するように簡易固定した。ただし，参加者の自由意志による実験中断時には簡易固定を外せるようになっている。また，実験中は参加者に手指を脱力した状態にするよう指示した。手続刺激の大きさは参加者が強い皮膚刺激を感じない最大の値とし，電圧の最大値は42 Vであった。また，そのときの電気刺激のパルス周波数は40 Hz, パルス幅は 0.2 msとした。電極パッドの位置は，前述の初期設定手法により決定した。PossessedHandにより，各手指のMP, PIP, DIP関節が同時に動作した状態で，計測を行った。各指に発生した力をテーブルに固定した固定台と指に取り付けた秤で測定した。各指を屈曲させた3回のうち，最大の値を測定した。5本の各指における試行回数は3回とした。結果実験の結果，各指の力の平均値は88.75 gであった。Figure 2に結果を示す。横軸は手指を表し，縦軸は力（g）を表す。エラーバーは標準誤差を示している。 PossessedHandにより発生した力のみで実物体を把持することや，楽器演奏を行うには不十分ではあるが，手指を動作させて，指先がどこかに触れることによってどの手指を動かせばよいかを伝達するには十分な力が発生していることが確認された。議論 PossessedHandは，上記研究成果からユーザの指を動作させることによるゲームの臨場感を伝えるシステム，遠隔地のヒトに動作を指示するシステム，Virtual Realty 空間内の物体を擬似的に触るシステムや楽器演奏補助システム等の応用研究が盛んに行われている。一方で本装置を装着したユーザに本装置を経由して手の動きを教えた場合の学習効率や，連続使用時の知覚変化については未解明であり，基礎心理学的な研究が求められている。講演後に，PossessedHandを経由した運動学習の効率については，工学分野での“最適な動作タイミングを伝達することで運動学習の効率が向上するのではないか”という期待とは逆に“PossessedHandから伝達される情報を元に運動をするため，運動学習後に正しい動作ができるとは限らず，運動学習の効率が良くなるとは考えにくい”との議論が展開された。また，連続使用時の知覚変化については“ユーザの脳からの指令信号ではない電気刺激によって手が制御されるため，運動主体感（sense of self-agency）や身体保持感（sense of self-ownership）についての変化や，従来の手の動作の逆学習効果があるのではないか”との意見があった。

Figure 2. Measured forces for each finger. Table 1.

Probability of each joint movement （％）.

関節連動動作独立動作 MP関節（人差し指） 100 0 MP関節（中指） 100 0 MP関節（薬指） 100 0 MP関節（小指） 100 0 PIP （IP）関節（親指） 100 0 PIP関節（人差し指） 100 100 PIP関節（中指） 100 100 PIP関節（薬指） 100 100 PIP関節（小指） 100 12.5 DIP関節（親指） 100 12.5 DIP関節（人差し指） 100 0 DIP関節（中指） 87.5 0 DIP関節（薬指） 75 0 DIP関節（小指） 87.5 0

(4)

80 基礎心理学研究第33巻第1号

引用文献

Brother Industries, Ltd. (2010). Brother officially named Reti-nal Imaging Display “AiRScouterTM_{”: A new prototype will} be exhibited at “Brother World JAPAN 2010.” Brother In-dustries, Ltd. (July 21, 2010) 〈http://www.brother.com/en/ news/2010/airscouter/〉 (September 15, 2014)

Tamaki, E., Miyaki, T., & Rekimoto, J. (2011). PossessedHand: Techniques for controlling human hands using electrical muscles stimuli. Proceedings of the 2011 Annual Conference

on Human Factors in Computing Systems, ACM, 543–552.

Fuji Chimera Research Institute (2006). Flat panel display

ap-plications: Trends and forecasts, 2006 Edition. InterLingua

Publications.

H2L, Inc. (2012). 製品情報. H2L Inc. 2012年12月〈http:// h2l.jp/products/〉（2014年8月29日）

NAC Image Technology (1990). Eye Tracking Products-NAC. NAC Image Technology (June, 1990) 〈http://www.eyemark. jp/support/index.html〉 (August 29, 2014)

Nakagawara, S., Kajimoto, H., Kawakami, N., Tachi, S., & Kawabuchi, I. (2005). An encounter-type multi-fingered master hand using circuitous joints. Proceedings of the Inter-

national Conference on Robotics and Automation 2005, IEEE, 2667–2672.

Human–Computer Interactionのための手の運動制御とその応用