5. RUI と複合現実感技術
5.7. 複合現実感技術を用いた RUI の視覚情報の拡張
5.7.3. 動作情報の拡張
通常のロボットやRUIは物理的に動作することで，その身体動作が視覚情報としてユー ザに提示される．それらの身体動作に関しては，主にプログラムされた動作や，視覚提示 装置としてのRUIのように，物理シミュレーションに応じた動作が提示される．
本研究ではそれらの身体動作を拡張する手法として演出エンジンを提案する．実世界の ロボットを物理シミュレーションに従って制御することで，CG モデルとの衝突等に応じ てパントマイムの様な動作が可能となる．この際，物理パラメータを変更することで，大 げさな動作や控え目な動作等，容易にロボットの動作を変化させることが出来る．
5.7.3.1. 演出エンジン
本研究で提案する演出エンジンとは，MR 技術を利用することで，RUI の身体動作表現 を拡張するものである．視覚提示装置としてのRUIシステムでは，物理シミュレーション が適用された情報世界内のCGモデルの動作を利用して，実世界のRUIを，身体動作を提 示するディスプレイとして利用した．
本来物理シミュレーションとは，情報世界の物体をより現実に近い動作やリアクション を行わせるために利用するものである．そのため，実世界と同様の運動を行うように質量 や重力，摩擦，弾性といったパラメータを物理モデルに対して適切に設定する必要がある．
これに対し，物理モデルに設定するパラメータを適切な範囲で変更することで，情報世界 内のCGモデルの動作やリアクションを大げさなものや小さいものへ変更することができ る．つまり，CGモデルと同期している実世界のRUIの動作の拡張も行える．このように，
物理シミュレーションを利用することで，容易に意図的に異なる身体動作表現を演出する ことができる．
今回は，人間の身体動作を利用した演出表現であるパントマイムに着目し，RUIにパン トマイム表現を行わせる．パントマイム(Pantomime)とは，台詞を用いずに動作や表情とで 表現する演劇の形態である．観察者は，その演技者の身体動作を通じて，壁や扉，階段な ど様々な物体があたかもその場に存在するかのような錯覚を得る．
本研究においては，実世界のロボットと同期したCGモデルを情報世界に設け，このモ デルに対して行った物理シミュレーションの結果に従ってロボットを制御する．これによ りロボットによるパントマイムを実現し，実世界におけるRUIの身体動作を用いた表現力 の向上を目指す．例として，何か障害物が衝突するといった表現をさせる場合，情報世界 内においてRUIのCGモデルと障害物のCGモデルとで衝突を行わせることでRUIのCG モデルが動作する．これにより実世界で形状同期を行っているロボットも動作し，その身 体動作を通じて，存在しない障害物の衝突を表現することが出来る．
図 5.17 演出エンジンシステム概念図
5.7.3.2. システム構成
本研究では，物理シミュレーションにおいて実世界に即したパラメータを設定するので はなく，動的にパラメータを調節することでロボットの動作に緩急をつける，演出エンジ ンを提案する．この演出エンジンを用いることで，「コミカルなオーバーアクション」や，
「運動量保存則など特定の物理法則に囚われないアクション」による表現を可能とする．
物理的な性質が変化しない同一のロボットでありながら，状況に応じて異なった動作を行 わせることができるため，身体動作を用いた表現に広がりを持たせることが可能である．
今回のMR RUIのシステム構成は以下のようになっている．
RUIとしては，全身を用いた身体動作の提示が行えるようにKHR-1（近藤科学社）を使 用した．また，物理モデルを適用した情報世界を生成し，さらに演出エンジンを実装する 手段としては，視覚提示装置としてのRUIシステムと同様に，物理シミュレーションライ
ブラリのSpringheadを使用した．
情報世界には図 5.18のように，KHR-1 と同じ形状・寸法比のCGモデルを用意し，各 関節に与える自由度とその可動方向も実際のKHR-1と同様に与えた．
実世界のロボットと情報世界のCGモデルは，それぞれ各関節角度の値を送受信するこ とで形状や動作の同期をとる．実世界側のRUIを人の手で動かせば，それに応じて情報世 界内のCGモデルは動く．また逆に，情報世界内のCGモデルがその世界で何らかの作用 を受けて形状が変化した場合，それに応じて実世界のロボットが動作する．このロボット の動作によって，ユーザに対して視覚情報や力覚情報の提示を行う．
図 5.18 KHR-1のCGモデル
今回使用したSpringheadにおいて変更可能なパラメータは，環境に関しては重力加速度，
物体に関しては質量や，大きさ，慣性テンソル，重心位置，接触力計算に用いるペナルテ ィ法のバネ・ダンパ係数，動摩擦係数，静止摩擦係数，関節を有するロボットに関しては 関節の柔らかさを決定する関節のバネ・ダンパ係数，といったものがある．これらのパラ メータを効果的に動的に変更することで，様々な身体動作の表現を可能とする演出エンジ ンを実装する．
5.7.3.3. パントマイム表現の実装
パントマイム動作として「物体の衝突（銃で撃たれる）」，「物体の接触（剣で斬られる）」
という動作表現の実装を行った．実装としては，情報世界内に2体のKHR-1のCGモデル を用意し，一方のCGモデルがもう一方のCGモデルに対して実際に「銃弾のモデルを衝 突させる」，「剣のモデルで相手の腕を斬る」というシミュレーションを行った．これによ り，CGモデルと形状が同期した実世界のRUIがパントマイム動作を行うことになる．
このパントマイム表現における演出エンジンの利点としては以下のような点がある．
銃で撃たれるという表現の場合，銃弾のパラメータを動的に変更することが出来る．こ れにより，用意するCGモデルやプログラムは同一でありながら，銃弾の質量を増やした りすることで，撃たれる動作表現の度合いも動的に変更することが出来る．
また，剣で斬られる動作表現では，図 5.21のように情報世界内の剣のCGモデルを実世 界のものに対して若干大きくしている．これにより，情報世界のみで接触を行い，実世界 では非接触でありながら，物体同士が干渉するといった動作表現を行うことが出来る．
図 5.20 パントマイム動作「物体の衝突（銃で撃たれる）」
図 5.21 パントマイム動作「物体の接触（剣で斬られる）」
図 5.22 非接触での物体同士の干渉表現
5.7.3.4. 実験
RUIにおける実世界のロボットの身体動作を用いた表現を向上させるための演出エンジ ンを提案し，パントマイム動作の実装を行った．この演出エンジンの検証，また，ロボッ トの動作表現に変化を与えるのに効果的なパラメータに関する知見を得ることを目的とし，
実験を行った．
今回の実験としては，物体の衝撃を身体動作によって表現する場合を想定し，どのよう なパラメータの変更が効果的であるかを求める．
実験内容としては図 5.23のように，情報世界内のKHR-1のCGモデルの腕に対して青 色の球体モデルを衝突させる．衝突させるとCGモデルの腕が衝撃によって動き，それと 同期する実世界のRUIの腕が動く．この実世界のRUIの動作のみを被験者に観察してもら い，身体動作の演出と物理パラメータの相関関係に関して知見を得る．
変更する物理パラメータに関しては，情報世界全体の環境を変化させるような重力とい ったパラメータは除外し，RUIのみに関するパラメータとした．変更するパラメータとし ては，物体が衝突する腕パーツの「質量」，「硬さ（弾性）」，「関節硬さ」の３つとした．こ の３つのパラメータの値を基準値から増減させてシミュレーションを行った．値の増減に 関しては，増やす場合は基準値×2.0，減らす場合は基準値×0.5 とした．なお，各パラメ ータの値を増した場合は，腕パーツの動きは小さくなり，減らした場合には動きは小さく なる．
実験手順としては以下の通りである．
１．基準パラメータでの動作を提示する
２．１つのパラメータを変更し，動作を提示する ３．被験者に観察結果の報告を求める
被験者は男性３名，女性２名の合計５名．３つのパラメータをそれぞれ増減させた合計 ６種類のパラメータに関して，１種類につき５回ずつ観察してもらった．つまり，基準動 作とパラメータ変更後の動作の合計３０組のRUIの動作で観察結果の報告を求めた．また，
パラメータの変更順は被験者間で一定のランダム順とした．
観察結果に関しては，被験者にとってパラメータ変更後のRUIの動作が標準の動作に比 べてどのように変化したかを，以下の３件法で回答を求めた．
○：衝撃・接触力，動作を大きく感じた ｎ：変わらない，または分からない
×：衝撃・接触力，動作を小さく感じた
5.7.3.5. 結果
実験結果をまとめたものを表 5.3に示す．
表 5.3 演出エンジン実験結果
回答数（回答比率）
観察結果報告 ○ 大きく感じた
ｎ 変化無し
× 小さく感じた
総回答数
減 8 (32%) 11 (44%) 6 (24%) 25
質量
増 4 (16%) 15 (60%) 6 (24%) 25減 12 (48%) 7 (28%) 6 (24%) 25
硬さ
（弾性）
増 0 (0%) 11 (44%) 14 (56%) 25減 25 (100%) 0 (0%) 0 (0%) 25