身体性を有するユーザインタフェースを 用いたインタラクションシステムの研究
清水 紀芳
電気通信大学大学院電気通信学研究科 博士 ( 工学 ) の学位申請論文
2008 年 3 月
身体性を有するユーザインタフェースを 用いたインタラクションシステムの研究
博士論文審査委員会
主査 稲見 昌彦 教授
委員 松野 文俊 教授
委員 下条 誠 教授
委員 田中 一男 教授
委員 小池 英樹 教授
委員 松原 仁 教授
著作権所有者
清水 紀芳
2008
A study of interaction system
using a humanoid robot as the user interface
Noriyoshi Shimizu
Abstract
Robots, such as industrial ones, have chiefly been considered as machines that perform work in place of human beings. On the other hand, personal robots such as pet robots and interactive robots are good examples of utilizing real objects. A robot can be regarded as a computer with a physical body that enables it to interact with the real world. Hence, if one considers the characteristics of their physical embodiment, robots can also be recognized as interfaces for human beings.
In this thesis, the robot is used as an interface for human behavior. A person can do an intuitive interaction to the real world, information world, and Mixed Reality world using robot. The person can input by operating the robot having it directly by the hand, and the output can be obtained by the movement of the robot.
When the person does the interaction to the information world, the robot enable the person to intuitive input and get haptic, shape and visual information back by operating the humanoid robot by synchronizing the CG character.
Moreover, the person can interact with real object in real world and Mixed Reality world by making the best use of the body of the robot. I/O using the body shape of the robot is enabled as an operation of real objects for the home appliance such as lamps and fans.
By combining the robot with the Mixed Reality technology, people can do remote
communication through Mixed Reality world. In addition the visual information, shape
and externals information on robot can be enhanced in superimposing a variety of CG
models that shape synchronizes with the robot. The bodily movement of the robot can
身体性を有するユーザインタフェースを用いた インタラクションシステムの研究
清水 紀芳
概 要
本論文では,人と同様の身体性を有するユーザインタフェースを用いて,情 報世界や実世界の物体などに対してインタラクションを可能とするシステムを 提案する.具体的には,手で持って操作可能な大きさの人型ロボットをユーザ インタフェースとして利用し,情報世界に対してインタラクションを行うシス テム,実世界の物体に対してインタラクションを行うシステム,複合現実感技 術を組み合わせたインタラクションシステムを実際に構築する.そして,これ らのインタラクションシステムの実装を通じ,ロボットをユーザインタフェー スとして用いる効果や可能性の検証,今後のシステム構築の上での知見を得る ことを目的として議論を進めた.
従来ロボットは,作業の効率化やオートメーション化を狙った産業用ロボッ トや,過酷で危険な環境下において作業を行わせる極限環境ロボットといった ように, 「人の代わり」として何らかの作業を行わせる目的で研究が進められて きた.しかし近年,ロボットが人にとって身近なものとなり,ペットロボット やヒューマノイド,癒しロボットといったように, 「人に働きかける」ことを目 的とした様々な人間共存型のロボットが登場している.本論文では,人にとっ て身近になったロボットを,人が直接手で持って操作を行うことや,ロボット 自身の動作を用いることで,人にとって直感的な入出力を可能とするユーザイ ンタフェースとして利用する.
第1章では序論として,本研究において提案する身体性を有するユーザイン
タフェースとしてロボットを使用する目的を述べる.また背景として,従来提
案されているユーザインタフェースの特徴や,ロボットの利用用途に関して外
観し,ロボットを用いたユーザインタフェースにおける位置付けを説明する.
第2章では,人型のロボットをユーザインタフェースとして使用する Robotic
User Interface (RUI) に関して述べる.人と同様の身体性を有する人型ロボットを
インタフェースとして利用するため,ユーザは自身の体を動かすかのような直 感的な入力が可能となる.また,提示の面においても,ロボットの身体形状や 動作を利用した視覚情報や,力覚情報の提示といったことも可能となる.この RUI の概念や特徴に関して,ユーザインタフェース,ロボット,人型,身体性 などの観点から説明する.
第3章では,RUI を用いた情報世界へのインタラクションシステムに関して 述べる.情報世界へのインタラクション方法としては,情報世界にユーザの分 身である CG アバタを用意し,そのアバタをコントロールしてインタラクション を行う方法がある.本研究では,情報世界に存在する人型アバタと実世界に存 在する同形状の身体性を有するロボット間で形状同期を行い,人が直感的に情 報世界とのインタラクションを可能とするシステムを実現する.情報世界内で 移動する物体に対してのインタラクションを可能とするものとして,エアホッ ケーの物理モデルを導入したアプリケーションを作成し,直感的入力と操作者 に対する力覚提示を実現する.また,ロボットの動作を用いた視覚情報の提示 を目的とするシステムを設計する.実世界のロボットと同期した CG アバタを情 報世界に設け,このアバタに対して行った物理シミュレーションの結果に従っ てロボットを制御することで,形状・動作による視覚情報の提示を行う.そし て,既存のインタラクション方法との比較実験を行い,RUI の効果に関する知 見を得る.
第4章では,RUI を用いた実世界の物体に対するインタラクションシステム に関して述べる.本研究では,実世界の物体である照明や扇風機などの家電製 品に対して,RUI を用いて情報の入出力を行うシステムを提案する.人と同様 の身体形状を持つ RUI を家電製品に対するインタフェースとして用いることで,
腕を上に動かすと明るさや風量が増すといったような,人の身体イメージを利
用した入出力方法を提案し,実装する.そして被験者を用いて, RUI の身体性
第5章では,RUI と複合現実感技術を組み合わせたインタラクションシステ ムに関して述べる.従来の複合現実環境へのインタラクションとしては,人の 身体や Tangible User Interface ( TUI ) , PDA などが用いられている.そして,ユ ーザへ提示される情報としては視覚や聴覚に対する情報のみである.これに対 し本研究では,RUI を複合現実環境へのユーザインタフェースとして用いるこ とで,直感的に複合現実環境の物体に触れることもでき,ユーザに対しての力 覚情報の提示も可能とする.また,遠隔地ユーザ同士のコミュニケーションシ ステムとして,RUI をユーザの分身とみなしたインタラクションシステムを実 現する.人型である RUI に対してユーザ自身の身体を投射することで,複合現 実環境を通じて遠隔地のユーザに対して直感的な入力や力覚を伴う出力を得る ことが可能となる.さらに,複合現実感技術を利用することで, RUI の提示す る視覚情報の拡張を行う.物理的に存在するロボットの形状・外観情報に関し ては,その情報を変更するには物理的に変更する他に方法はない.しかし本研 究では,ロボットの形状に同期した CG モデルをロボットに重畳して提示するこ とで, RUI の視覚情報を容易に変更可能とするシステムを実現する.また,ロ ボットの身体動作に関しては,物理シミュレーションにおいて質量や弾性等の 物理パラメータを動的に適切に調整し,情報世界内の CG アバタの動作を変更す ることで,実世界の RUI の身体動作を容易に変化させることを可能とする.そ して実験を通じ,視覚情報を拡張するシステムの効果を確認すると共に,設計 に関する知見を得る.
第6章では,結論を述べる.本研究のまとめと問題点,及び,今後の展望に
ついて述べる.
目次
1. 序論...1
1.1. 背景...1
1.2. 目的...3
1.3. ユーザインタフェース...5
2. Robotic User Interface...6
2.1. 概略...6
2.2. Robotic User Interface...7
2.3. インタフェースとしてのロボット...9
2.4. ロボットにおける身体性...10
2.5. インタフェースにおける身体性... 11
2.6. 人型の提示装置...12
2.7. 実世界指向インタフェース...15
2.8. 保持型ロボティックユーザインタフェース...16
2.9. ハンドパペット型ロボティックユーザインタフェース...17
3. RUIを用いた情報世界へのインタラクションシステム...19
3.1. 概略...19
3.2. 関連研究...20
3.3. 情報世界のアバタへの入出力方法...21
3.4. 設計指針...22
3.5. システム構成...23
3.5.1. RUI ...23
3.5.2. 形状同期方法...24
3.5.3. RUIの仕様...26
3.6. 力覚提示装置としてのRUIシステム...32
3.6.1. 設計指針...32
3.6.2. エアホッケー物理モデル...32
3.6.2.1. 離散時間系での剛体の並進・回転運動方程式...32
3.6.2.2. 反発運動の計算手法...33
3.6.2.3. ペナルティ法...34
3.6.4. 入力方法の比較および評価...44
3.7. 視覚提示装置としてのRUIシステム...51
3.7.1. 設計指針...51
3.7.2. 物理シミュレーションエンジン...51
3.7.3. 二足歩行アプリケーション...54
3.7.3.1. アプリケーション概要...54
3.7.3.2. RUIモデル...55
3.7.3.3. RUIモデルの直立指示...55
3.7.3.4. RUIモデルの歩行指示...56
3.7.4. 外装がRUIに及ぼす影響...59
3.8. まとめ...62
4. RUIを用いた実世界へのインタラクションシステム...63
4.1. 概略...63
4.2. 関連研究...64
4.3. 設計指針...65
4.4. システム構成...66
4.4.1. RUI ...67
4.4.2. ARToolKit ...68
4.4.3. 電力制御...69
4.4.4. 操作方法...71
4.5. 実験...73
4.6. 結果...76
4.7. 考察...84
4.8. まとめ...86
5. RUIと複合現実感技術...87
5.1. 概略...87
5.2. 複合現実感...88
5.3. 関連研究...89
5.4. 基本システム構成...90
5.5. 複合現実環境へのインタラクションシステム...91
5.5.1. システム構成...91
5.5.2. 検証...91
5.6. 複合現実感技術を利用したテレコミュニケーションシステム...93
5.6.1. システム構成...93
5.6.2. 検証...97
5.7. 複合現実感技術を用いたRUIの視覚情報の拡張...99
5.7.1. 概略...99
5.7.2. 形状・外観情報の拡張...99
5.7.2.1. システム構成... 100
5.7.2.2. MR外装のズレ補正... 102
5.7.2.3. 補正法1... 103
5.7.2.4. 補正法2... 105
5.7.3. 動作情報の拡張... 106
5.7.3.1. 演出エンジン... 106
5.7.3.2. システム構成... 107
5.7.3.3. パントマイム表現の実装... 109
5.7.3.4. 実験... 110
5.7.3.5. 結果... 111
5.7.3.6. 考察... 112
5.8. まとめ... 113
6. 結論... 114
謝辞... 118
参考文献... 119
図目次
図 2.1 GUIとRUIにおける入出力... 7
図 2.2 PHANTOM:左 - 指先装着型 右 – ペン型... 12
図 2.3 SPIDAR:左 - 装置外観 右 –SPIDAR装着時の様子... 13
図 2.4 ACTIVE ENVIRONMENT DISPLAY:左 – 装置外観 右 –力覚提示の様子... 13
図 2.5 ROBOTPHONE... 16
図 2.6 ハンドパペット型RUI... 17
図 3.1 RUIと既存のユーザインタフェース... 21
図 3.2 RUIの形状同期 上 -ROBOTPHONE 下 - 提案するRUI ... 22
図 3.3 IPROBOTPHONE:左 –IPROBOTPHONE外観 右 –IPROBOTPHONE内部機構... 23
図 3.4 RUI(IPROBOTPHONE)とCGアバタの形状同期システム構成... 25
図 3.5 RUIとCGアバタの形状同期システム構成... 26
図 3.6 IPROBOTPHONE内部機構寸法図 上 - 上面から 下 - 正面から... 27
図 3.7 IPROBOTPHONE使用のRUIでの電流値とトルクの関係... 28
図 3.8 IPROBOTPHONE使用のRUIでの目標角度と現在の関節角度の差とトルクの関係... 28
図 3.9 視覚提示装置としてのRUI... 29
図 3.10 視覚提示用RUIでの電流値とトルクの関係... 30
図 3.11 視覚提示用RUIでの目標角度と現在の関節角度の差と発生トルクの関係... 30
図 3.12 パックの並進・回転運動... 32
図 3.13 ペナルティ法... 34
図 3.14 剛体の反発運動... 35
図 3.15 パックとマレットの反発... 36
図 3.16 マレットが受ける力の方向... 38
図 3.17 エアホッケーアプリケーション... 39
図 3.18 短縮化手法1における各処理の流れ... 41
図 3.19 短縮化手法1の結果(エラー率)... 42
図 3.20 短縮化手法2... 42
図 3.21 ペナルティ法を用いた物体同士の衝突反発運動における運動量の関係... 44
図 3.22 ボタンによるCGアバタの操作... 46
図 3.23 スティックによるCGアバタの操作... 46
図 3.24 実験の流れ... 47
図 3.25 実験の様子... 47
図 3.26 抗力とその作用点... 52
図 3.27 作用点の分布... 52
図 3.28 摩擦トルクの問題... 53
図 3.29 摩擦トルクの問題の解決... 53
図 3.30 2足歩行アプリケーション... 54
図 3.31 RUIモデルの自由度... 55
図 3.32 直立支援トルク... 56
図 3.33 直立姿勢での1自由度の足による歩行... 56
図 3.34 歩行支援トルクを用いたRUIモデルの歩行... 57
図 3.35 Α, Β が大きいとき... 58
図 3.36 右足関節動作の指令値と測定値... 59
図 3.37 ゲイン調節前後の右足の関節動作の指令値と測定値... 60
図 3.38 ゲイン調節後の各関節動作の指令値と測定値... 61
図 4.1 機器制御の様子... 66
図 4.2 機器制御システム構成図... 67
図 4.3 カメラを内蔵したIPROBOTPHONEの鼻部... 68
図 4.4 ARTOOLKITの処理の流れ... 69
図 4.5 トライアック基本回路図... 69
図 4.6 電力制御時の交流電源の波形... 70
図 4.7 制作した電力制御回路... 70
図 4.8 電球と扇風機制御時のRUIの操作法... 71
図 4.9 テレビ制御時のRUIの操作法... 72
図 4.10 実験1の実験系(上面図)... 73
図 4.11 実験1の実験系(側面図)... 74
図 4.12 ターゲット寸法... 74
図 4.13 RUIの腕関節の指示角度... 74
図 4.14 実験1の結果(目標角度と測定値)... 76
図 4.15 実験1の結果(目標角度と誤差)... 77
図 4.16 実験2の結果(目標角度と測定値)... 78
図 4.17 実験2の結果(目標角度と誤差)... 79
図 4.18 実験3の結果(目標角度と測定値)... 80
図 4.19 実験3の結果(目標角度と誤差)... 81
図 4.20 実験4の結果(提示角度と申告値)... 82
図 4.21 実験4の結果(提示角度と誤差)... 83
図 5.3 MR世界の物体への直感的インタラクション(ユーザへの提示画像) ... 91
図 5.4 ROBOTPHONEシステム構成... 93
図 5.5 MRRUIシステム構成(MRRUI-CG間でのインタラクション)... 93
図 5.6 CGアバタとのインタラクション... 94
図 5.7 MRRUIシステム構成(CG-CG間でのインタラクション)... 95
図 5.8 EXOCENTRIC視点でのインタラクション... 96
図 5.9 EGOCENTRIC視点でのインタラクション... 96
図 5.10 マーカーを用いた情報世界環境の構築... 96
図 5.11 KHR-1(近藤科学社)... 100
図 5.12 MR外装システム構成... 101
図 5.13 RUIに対する視覚情報の重畳... 101
図 5.14 MR外装とRUIとのズレ... 102
図 5.15 RUIとCGモデルの遮蔽関係(補正法1)... 103
図 5.16 RUIとCGモデルのズレ... 105
図 5.17 演出エンジンシステム概念図... 107
図 5.18 KHR-1のCGモデル... 108
図 5.19 システム構成... 108
図 5.20 パントマイム動作「物体の衝突(銃で撃たれる)」... 109
図 5.21 パントマイム動作「物体の接触(剣で斬られる)」... 109
図 5.22 非接触での物体同士の干渉表現...110
図 5.23 衝突動作提示...110
図 5.24 パラメータ変化に対するRUIの腕関節角度変化...112
表目次
表 2.1 GUIとRUIとの対比... 7
表 2.2 保持型RUIとハンドパペット型RUIの相違... 18
表 3.1 各RUIの仕様... 31
表 3.2 短縮化手法1で使用したPC... 40
表 3.3 短縮化手法1の結果(計算処理時間)... 41
表 3.4 短縮化手法2で使用したPC... 43
表 3.5 短縮化手法2の結果... 43
表 3.6 比較する入出力方法... 45
表 3.7 入出力方法に関するアンケート結果... 48
表 3.8 入力方法に関する設問のアンケート結果... 49
表 3.9 入力方法に関する設問の分析結果... 49
表 3.10 出力に関する設問のアンケート結果... 49
表 3.11 出力に関する設問の分析結果... 50
表 3.12 CGアバタに対する印象に関する設問のアンケート結果... 50
表 3.13 CGアバタに対する印象に関する設問の分析結果... 50
表 4.1 RUIの動作と電球と扇風機の制御の対応... 71
表 4.2 RUIの動作とテレビの制御の対応... 72
表 4.3 異なる被験者の組による目標角度に対する誤差の平均値... 77
表 4.4 目標角度に対する全被験者の誤差の平均値... 79
表 4.5 目標角度に対する全被験者の誤差の平均値... 81
表 5.1 ロボットから得られる視覚情報(形状・外観)... 100
表 5.2 拡大率sと角速度
ω
の関係... 104表 5.3 演出エンジン実験結果...111
表 5.4 演出エンジン...113
1. 序論
1.1. 背景
現在,人が情報世界に対してインタラクション,つまり情報の入出力を行う手段として,
パーソナルコンピュータに見られるようなグラフィカルユーザインタフェース-Graphical
User Interface (GUI)-が広く用いられている.GUIは,Douglas C. EngelbartのNLS (On-Line
System) [1]によって提案され,後にAlan KeyらによるAlto[2]によって実用化されたもので
ある.これはWIMP(Window, Icon, Menu, Pointing device)という言葉で表されるように,
マウスやキーボードなどの入力装置とビットマップ・ディスプレイを用いることで,コン ピュータをより直感的に扱えるようにしたものである.
しかし,GUIにおいてもインタラクションを行う手段としては限界がある.現在,その 限界を打破するために様々なインタフェースの研究・開発が行われている.その様な研究 の中に,実世界指向インタフェースと呼ばれる実世界に存在するオブジェクトをインタフ ェースとして利用するものがある.これは,我々人間が生活している実世界のメリットを 活かしつつ,人がより直感的にシームレスに情報世界に対して入出力を行うことを可能に することを目指し,研究が活発に行われているものである.実世界指向インタフェースと
しては,NaviCam[3]やTangible User Interface (TUI)[4]などがある.NaviCamとは,実世界の
バーコードとカメラを搭載したディスプレイを用いたシステムであり,実世界に対してデ ジタル情報を重畳してユーザに提示することを可能としている.TUIは,実物体とデジタ ル情報を統合することで,道具を通じた情報世界に対する直接的なインタラクションを可 能 と し て い る . ま た , 実 体 を 持 つ ユ ー ザ イ ン タ フ ェ ー ス を 用 い ず ,EyeToy™[ 5 ]や
QuickMAG[6],Optotrack[7]などのモーションキャプチャ装置などを用いて人の動作を認識
することで,人の身体動作を利用した直接的なインタラクションを可能とする手段も存在 する.
一方ロボットは,作業の効率化やオートメーション化を狙った産業用ロボットや,人に とって過酷で危険な環境下においてなんらかの作業を行わせる極限環境ロボットといった ように,「人の代わり」として何らかの作業を行わせることを目的に研究が進められてきた.
しかし,近年ではロボットが人にとって身近なものとなり,ペットロボット[8]やヒューマ ノイド[9],癒しロボット[10]といったように,「人に働きかける」ことを目的とした様々な 人間共存型のロボットが登場している.
また,ロボットは身体性を有するコンピュータであると捉えることができる[11].この 身体の物理存在自体が圧倒的な存在感となるとともに,身体を用いた物理的相互作用を通 じ,実世界に対して大きな影響力を発揮することができる.この実世界と強力なインタラ クションを可能とするロボットを,実世界と情報世界とのインタフェースとして捉えた概 念がロボティックインタフェース-Robotic User Interface (RUI)-[12]である.RUIを用いるこ
とで,実世界や情報世界に対しての入力と出力を兼ね備えた実世界指向のユーザインタフ ェース環境の構築が可能であると考えられる.
このRUIは以下の様な特徴を有する.
・物理世界と相互作用を行うことが可能であり実物体に対する作用が可能
・ロボットの形状や動作による視覚的な情報提示が可能
・ロボットから人に力を加えることにより力覚的な情報提示が可能
・人の側が直接ロボットに触れて形状を変化させることによる指示入力が可能
・ロボットへの呼びかけ,ロボット自体の発話といった音声のインタラクションが可能 換言すれば,言語やシンボル操作を主体とした象徴的表象を用いるのがGUIであるとす ると,人間が成長の過程において,より早期に獲得する身体図式や身体像を用いた動作的 表象や映像的表象を主として用いるのがRUI であると言える.従って,RUI はGUIに置 き換わって存在するものではなく,GUIを補完するものであり,従来には無い新たなアプ リケーションを生み出す可能性を有するインタフェースである,と位置付けることが出来 る.
1.2. 目的
RUIの一例として,熊のぬいぐるみの形をしたロボットフォン-RobotPHONE-[13]がある.
RobotPHONEは,ロボットの持つ身体性に着目し,人型ロボットを入出力のインタフェー
スとして使用することで,遠隔地間でのコミュニケーションを可能とするデバイスである.
RobotPHONEでは,互いに離れた場所に存在するロボットの形・動き・位置等をリアルタ
イムに同期させることで,ロボット同士の動作を交換可能にしている.
通常我々が利用している電話には,音声認識や自動発話等の機能は付いておらず,利用 者の声をそのまま遠隔に届けることを目的としている.つまり,通常の電話は,声という 聴覚に対する情報のみを伝達するためのデバイスであると言える.
これに対して,RobotPHONEでは入出力のインタフェースとして実体を有するロボット を使用しているため,リアルタイムに形状の同期を行うことで,人型ロボットの形の情報 だけでなく,その動きといった視覚情報の伝達が可能である.また,通常のディスプレイ に表示された電子的なアバタとは異なり,ロボットに触れることで相手の力が感じられる といった力覚情報の伝達も可能である.つまりRobotPHONEとは,ロボットを用いること で視覚・力覚・聴覚情報を統合して伝達することを可能とした,従来には無い新しい種類 のコミュニケーションシステムであると言える.
また,RobotPHONEの例にあるように,RUIは人に対して力覚を提示することが可能な インタフェースである.従来,力覚を提示するインタフェースには様々なものが存在する が,それらはインタフェースの使用方法により次の三つに大別することが可能である.操 作者がインタフェースを指や手などに身につけて操作を行い,操作者の身体に対して直接 的に力覚を返すものは「装着型」,操作者がインタフェースを手で把持して操作を行い,そ のインタフェースの動作によって力覚を返すものは「把持型」となる.他には,操作者の 手の動作に応じてインタフェースが動作し,力覚を提示するときのみに操作者の指先にイ ンタフェースを当てて力覚を感じさせるというものは「遭遇型」となる.
RUIとして,人が手で持ちながら,つまり保持しながら操作可能なロボットを使用する ことで,人に対する新たな力覚提示が行えると考えられる.従来存在するような「装着型」,
「把持型」,「遭遇型」の力覚を提示するインタフェースとは異なり,RUIを用いた場合は その操作方法から,身体性を有した「保持型」の力覚提示装置と言えるものが開発可能と なる.
このように,人型つまり人間と同様の身体性を有するロボットをユーザインタフェース として利用することで,既存のインタフェースに比べ,情報世界や実世界に対してより直 感的な入力を可能とするシステムを実現することが出来る.また,ロボットの人型の形状 や動作を利用した視覚・力覚情報の出力も可能となる.
本研究では,このように人が手でロボットを保持して操作するインタフェースである RUIにおいて,ユーザインタフェースとしての効果や可能性の検証を行い,ハードウェア
やソフトウェアの点からシステムを構築していく上での知見を得ることを目的とする.実 際に,RUIを用いて情報世界や実世界,複合現実環境へのインタラクションを可能とする システムを構築し,検証を行う.
RUIを用いて情報世界へインタラクションを行う場合では,情報世界に存在する人型ア バタと実世界に存在する同形状の身体性を有するロボット間で形状同期を行う.これによ り,人が直感的に情報世界とのインタラクションを可能とするシステムが構築できる.こ のシステムでは,ロボットを情報世界への入力装置とすると同時に,実世界への視覚・形 状情報を提示する出力装置となる.視覚・形状情報だけでなく,アバタが存在する情報世 界内に実時間物理シミュレーションエンジンを搭載することで,ロボットを通じて人に対 し,リアルタイムに力覚情報を提示することを可能とする.
実世界の物体に対するインタラクションを行うシステムでは,RUIを用いて家電機器の 制御を行う.実世界の物体として家電機器を,ロボットの身体動作・形状を利用して制御 すると共に,情報の提示も可能とする.さらに,RUIと複合現実感技術を組み合わせるこ とで,従来には無い複合現実環境へのインタラクションや,ロボットの身体動作や形状・
外観情報といった視覚情報を拡張するシステムの構築を行う.
これらのインタラクションシステムを実際に構築することで,RUIのインタフェースと しての効果や可能性を検証し,システム構築の上での知見を得る.
1.3. ユーザインタフェース
ユーザインタフェースとは,人間が機械やシステムとインタラクションを行う際,その 間にあり情報のやり取りを仲介する部分のことを言い,主に人間からの情報の入出力を担 当する機械のことを指す[14].例としては,文字を入力するキーボードや座標を入力する マウスや画像を出力するディスプレイ,音を出力するスピーカー等が,一般に広く用いら れているユーザインタフェースである.このユーザインタフェースは,人と情報世界とを 結ぶものであり,機械やシステムの使い勝手を大きく左右する重要な部分であると言える.
コンピュータが研究所でのワークステーションとしてのみに用いられた時代には,
CUI(Character-based User Interface)が一般的であった.それに対して,現在パーソナルコン ピュータとして一般に用いられているコンピュータの多くはGUIを採用している.これは,
WIMPベースによるデスクトップメタファを用いることで,コンピュータをより直感的に 扱えるようにしたものである.このGUIによって,コンピュータは技術者のみでなく広く 一般的に扱えるようになった.但し,GUIはCUIにあらゆる面で勝るものではなく,高速 かつ自動的にOSを操作する際には現在でもCUIが広く使われている.
本研究で用いられるRUIとは,インタフェースとしてロボットを利用するユーザインタ フェースの一種である.
2. Robotic User Interface
2.1. 概略
人型のロボットをユーザインタフェースとして使用するRobotic User Interface (RUI) に 関して述べる.RUIは人と同様の身体性を有する人型ロボットをインタフェースとして利 用することで,ユーザが自身の体を動かすかのように直感的な入力をすることを可能とす る.また,提示の面においても,ロボットの身体形状や動作を利用した視覚情報や,力覚 情報の提示も可能となる.この RUI の概念や特徴に関して,インタフェース,ロボット,
人型,身体性などの観点から説明する.
2.2. Robotic User Interface
Robotic User Interface ( RUI ) とは,人型のロボットを実世界と情報世界とのインタフェ
ースとして捉えた概念である.実世界に物理的に存在するロボットをインタフェースとし て用いることにより,実世界に対する入出力を備えた実世界指向のユーザインタフェース 環境の構築が可能である.
この RUI に関して,一般的に広く利用されている GUIと対比し,具体的に説明する.
GUIでは入力としてマウスやキーボードを用いる.そして,出力として入力の結果がグラ フィックとしてディスプレイに表示される.これに対してRUIにおける入出力方法は,人 型ロボットを人が手で持って動かすことが入力となり,ロボット自身が動作することが出 力になる.このようにロボット単体で,その身体性を利用した入出力を可能とするもので ある.言語やシンボル操作を主体とした象徴的表象を用いるのがGUIだとすると,人間が 成長の過程において,より早期に獲得する身体図式や身体像を用いた動作的表象や映像的 表象を主として用いるのがRUIであると言える.
図 2.1 GUIとRUIにおける入出力
表 2.1 GUIとRUIとの対比
GUI RUI
入力
マウスキーボード ロボットの操作
出力
ディスプレイプロジェクタ ロボットの動作・形状
アプリケーション
デスクワーク 人の身体動作メタファ
デスクトップ 人の身体情報世界内に存在する操作者のCGアバタを操作するようなアプリケーションにおいて,
GUIとRUI のどちらが適しているかを考える.先に述べたように GUIは,言語やシンボ ル操作を主としたものであり,マウスやキーボード等のインタフェースを使用した場合で は,デスクトップ上のファイル等をマウスで選択して開き,キーボードを用いて文章を書 く,といったようなデスクワークに関するアプリケーションが適していると考えられる.
一方RUIは,身体図式や身体像を用いた動作的表象を主としており,身体性を持った人型 のロボットをインタフェースとして使用する.よって,情報世界内に操作者のアバタが存 在しており,それを操作するといったアプリケーションにおいては,人型ロボットを使用 することで直感的な入力や,視覚・力覚情報の提示といったことが可能となる.よってGUI に比べてRUIが,アバタベースの人の身体動作を用いるようなアプリケーションには適し ていると考えられる.
2.3. インタフェースとしてのロボット
従来のロボットは,産業用ロボットやペットロボット等のように,事前に入力されたプ ログラムやセンサから得られる外部入力,遠隔からの指示入力に応じてロボット自体が動 作を行うというものである.
これに対しRUIでは,人と同様の身体形状を持ったロボットをインタフェースとして利 用する.操作者は人型ロボットを手で持ちながら,そのロボットの手や足等を外部から直 接手で動かすことで入力を行う.それと同時にロボット自体の形状や動作により,視覚情 報や力覚情報といった出力を得ることが可能である.よって,RUIに用いる人型ロボット は,人が手で持つことができるサイズ・重量であり,人の手で楽にロボットの関節を動か して操作が可能であるバックドライバビリティを有する必要がある.このような外部から 人が直接操作する,ユーザインタフェースとして使用する目的で設計されるロボット自体 が従来存在しないものである.
2.4. ロボットにおける身体性
従来ロボットは,工場のオートメーション化を目的とした産業用ロボットや,人にとっ て危険な環境下において作業を行わせることを目的とした極限環境ロボットといったよう に,人の代わりに何らかの作業を行わせるものとして研究されてきた.
これに対しロボット技術が進歩し,身近なものになってきたことに伴い,家庭やアミュ ーズメント施設で用いられるエンタテインメントロボットも登場してきている.Sony の
AIBOや,HONDAのASIMOなどは犬型または人型という違いはあるが,既存の生物形状
に合わせた身体性を持つロボットである.これらのロボットは,前述したとおり実世界と の強力なインタラクションを可能にしている.その他,株式会社増田屋コーポレーション のうなずきくんや Keepon[15]は身体性と引き込み原理[16]を活かしたロボットである.引 き込み原理とは,言葉によるバーバル情報だけでなく,音声の周辺言語や頷き,まばたき,
表情,身振り,手振りなどの身体動作といった言葉によらないノンバーバル情報を用いる ことで,会話を交わす対話者相互が身体性を共有して互いに引き込むことで,一体感のあ るコミュニケーションをとることができることである.
このようにロボットに身体性を与えることで,より人間にとって親しみやすいシステム の構築が可能になっている.
2.5. インタフェースにおける身体性
本研究でのRUIは人と同形状の身体を有したロボットを用いており,インタフェースが 身体を持つことになる.人は成長過程において自身の体の操作方法や体の配置等を学習す ることで,それらを身体図式として持つことになる.この身体図式を用いることで,自分 の体と同形状,かつ同様に可動する人型のロボットであるRUIを,自分の体を動かすかの ように直感的に操作することが可能となる.また,自身の手の位置が目を瞑っていても分 かるように,ロボットの形状を,目で見ずとも手で触れることで把握することも可能であ ると考えられる.
また,RUIを通して人に対して力覚情報を提示することも可能である.従来の力覚情報 の提示方法としては,人の体に装置を装着させることや,人が装置を手で把持して操作す るなどして,人の体に対して直接的に力の大きさや方向を提示するという方法が用いられ ている.これに対し RUI では,人が手で持って,つまり保持して操作を行っている RUI 自体の動作を用いることで,人に対する力覚提示を行うことができる.
このように,人と同形状の身体を持つインタフェースであるRUIを用いることで,操作 者は情報世界に対する直感的な入力が可能となると共に,RUI自体の形状や動作による視 覚・力覚情報といった出力を得ることが可能である.
2.6. 人型の提示装置
RUIは操作者に対して,力覚情報や視覚情報を提示することが可能である.
まず,力覚情報の提示方法に関して,RUIを使用した場合と既存の力覚提示装置と使用 した場合との違いについて述べる.力覚を提示するインタフェースとして,PHANToM[17]
やSPIDAR[18],Active Environment Display (AED)[19]などがある.指に装着するタイプの
PHANToM では,操作者が指に装置を装着した状態で操作を行い,情報世界内の物体に触
れた時に装置に仕込まれたアクチュエータが人間の運動を拘束することで,そこに物体が ある,という感覚を作り出す.ペン型のPHANToMは装置のペン型部分を手で把持して操 作を行い,指装着型と同様に人間の運動をアクチュエータで拘束することで操作者に対し て力覚を提示する.SPIDAR は,四つの支点からプーリーを経由して直線的に張られた四 本の糸が取り付けられたリングを指にはめて操作する装置であり,リングを通じて指を拘 束することで反力を伝える仕組みである.AEDは人の指先に合わせて形状表現デバイスの 位置・姿勢を制御し,実際に指がデバイスに接触することで触れたという感覚を提示する.
これら以外にも様々な力覚提示装置が存在するが,それらは大別して,人間の腕や手指に 装着する方式をとる「装着型」,道具や器具を手にとって使用する「把持型」,人間の動く 手の先に待ち構えていて,手とデバイスが実際に接触することで触れたという感覚を提供 する「遭遇型」といった三つの型に分類することが可能である.上記の指に装着するタイ
プのPHANToMとSPIDARは「装着型」,ペン型PHANToMは「把持型」,AEDは「遭遇
型」に分類される.
図 2.2 PHANToM:左 - 指先装着型 右 – ペン型
図 2.3 SPIDAR:左 - 装置外観 右 – SPIDAR装着時の様子
図 2.4 Active Environment Display:左 – 装置外観 右 – 力覚提示の様子
従来の「装着型」「把持型」「遭遇型」の力覚提示装置では,装置によって人の運動を拘 束することによって,直接的に人の体に力の大きさや方向を提示している.また,力覚の 提示は主に手に対してである.全身に装置を装着させて全身に対して力覚を提示すること も可能であるが,その場合は装置が大規模なものになってしまう.
これに対しRUIでは,人が手に抱えているロボットが動作することで,人の手に対し力 覚を提示する.この際操作者は,手に持っている RUI を身体図式を用いて操作しており,
RUIが自身の分身であるかのような感覚を得ている.このため,RUIから間接的に,操作 者の全身に対する力覚提示が可能になると考えられる.例として,RUIの右腕が右方向へ 回転したとする.その動きを操作者が手で感じると,操作者自身の右腕がRUIと同様に右
方向へ回転する力を得たと感じさせることができ,同様に間接的に全身への力覚提示が可 能となると考えられる.
次に,RUIを視覚提示装置として用いた場合に関して述べる.RUIでは人と同形状のロ ボットを提示装置として用いるため,ダンス等の人の身体動作や,手を振る,頷くといっ たジェスチャなど,身体形状を用いたノンバーバル情報の提示が可能である.既存の視覚 提示装置であるディスプレイやプロジェクタなどを用いた場合は平面的な視覚情報を提示 するのみであるが,RUIでは実世界に存在するロボットが提示装置であるため,立体的な 情報提示が可能である.また,人がロボットに触れることで動作中に発生する力を提示す ることも可能である.これにより,RUIを用いることで,ダンスやゴルフのスイングとい った人の身体動作に関して,視覚情報を用いた動作の「提示」だけでなく,力覚情報を更 に伴うことで動作の「教示」も可能だと考えられる.
2.7. 実世界指向インタフェース
人が情報世界に対してインタラクションを行う手段として,パーソナルコンピュータに 見られるようなGUIが広く用いられている.これに対し近年では,実世界に存在するオブ ジェクトをインタフェースとして用いることで,人がより直感的にシームレスに情報世界 に対して接続することを目指した実世界指向のインタフェースが活発に研究されている.
実世界指向インタフェースとしては,MITのMediaLabで行われているTUIが挙げられ る.これは日常生活で使われる玩具や筆などのデバイスにコンピュータを組み込んで道具 の能力を拡張するインタフェースである.同様におたま型,スポイト型,ピンセット型,
ペットボトル型,はさみ型など実際の生活で用いられる様々な道具にコンピュータを繋ぎ,
より直感的にコンピュータを操作するためのデバイスを作る試みもある[20].これらのイ ンタフェースは道具の持つアフォーダンス[21]を重視しているため,インタラクション方 法がその道具の形状に依存する.
また,Perceptual User Interface (PUI)[22]といったものもある.これはEyeToy™のように 実世界の人間の活動を重視したインタフェースである.カメラやマイクで人の身体動作,
発話を測定し,主に映像や音によるフィードバックを利用してインタラクションを行う.
本研究で用いるRUIは,実世界に存在する人型のロボットに対してユーザが自身の身体 性を投射して利用する実世界指向インタフェースの一種である.人型というアフォーダン スを利用することで,人の身体性を利用した入力と,視覚・力覚情報の出力を同一のイン タフェースで行うことが可能である.
2.8. 保持型ロボティックユーザインタフェース
保持型ロボティックユーザインタフェースとは,手でロボットを持って操作するRUIを 指す.手でロボットを持ち,各関節を手で操作することが入力となり,ロボット自体が動 作することが人への力覚・視覚情報の提示となる.本研究では保持型RUIを用いて様々な インタラクションシステムを構築する.
保持型RUI の例としてはRobotPHONEがある.RobotPHONE では遠隔地にある2体の ロボット間で形状同期を行う.これにより遠隔地のユーザ間において,ロボットの動作に よる力覚情報や,形状による視覚情報を利用したコミュニケーションを可能とする.
図 2.5 RobotPHONE
2.9. ハンドパペット型ロボティックユーザインタフェース
RUIとしては保持型の他にハンドパペット型RUI[23]が存在する.
保持型とハンドパペット型の二つのシステムの大きな違いはユーザの手の位置と力の提 示方法である.保持型ではユーザの手がRUIの外側にあり,ハンドパペット型ではユーザ の手がRUIの内側にある.ユーザの手とRUIの位置関係から,保持型はロボットが動作す ることで力を感じることになり,ロボットの手足を通じて何かが存在しているような感覚 を得ることができる.これに対してハンドパペット型では,ロボットの内側にある手が力 を感じるため,ロボットの外側に何かが存在しているような感覚を得ることになる.
ハンドパペット型 RUI はぬいぐるみの中に手を入れるのでいくつかの問題が発生する.
基本的にはエグゾスケルトン型人力増幅器と同じ問題が発生する[24].つまり,装置の重 要なスペースを手が占めてしまうために,装置を制御するコンピュータやアクチュエータ,
センサを配置する場所が限られてしまう.よって,保持型RUIに比べ自由度が減る.また,
手で持って操作する保持型RUIに対し,ハンドパペット型RUIでは手首の回転範囲に入力 が拘束される.ただし,ハンドパペット型の大きな特徴としては,手がRUIの内部にある ため,外部から撫でられた・触られたという感覚提示が可能である.手袋の部位にバイブ レータをつけ,人の手に対して振動感覚を提示することにより触られた感覚が提示出来る.
図 2.6 ハンドパペット型RUI
上記を踏まえると,それぞれのシステムに対応したアプリケーションは異なっており,
保持型とハンドパペット型のどちらが優位である,ということではない.共通しているこ とは,どちらのインタフェースも情報世界内の自分の分身であるアバタの操作に適してお り,それぞれの身体性を活かしたインタラクションが可能である,ということである.
保持型RUIとハンドパペット型RUIの相違を表 2.2にまとめる.
表 2.2 保持型RUIとハンドパペット型RUIの相違
保持型RUI ハンドパペット型RUI
自由度 多い 少ない
拘束 特に無し 手首の自由度
指の動き
皮膚情報提示 不可 可能
適した アプリケーション
身体動作を用いた アプリケーション
空間共有型 コミュニケーション
3. RUI を用いた情報世界へのインタラ クションシステム
3.1. 概略
RUIを用いた情報世界へのインタラクションシステムに関して述べる.情報世界へのイ ンタラクションとしては,情報世界にユーザの分身であるCGアバタを用意し,そのアバ タをコントロールしてインタラクションを行う方法がある.
本研究では,情報世界に存在する人型アバタと実世界に存在する同形状の身体性を有す るロボット間で形状同期を行うことで,人が直感的に情報世界とのインタラクションを可 能とするシステムを実現する.情報世界内で移動する物体に対してのインタラクションを 可能とするものとして,エアホッケーの物理モデルを導入したアプリケーションを作成し,
直感的入力と操作者に対する力覚提示を実現する.また,ロボット自身の動作を用いた人 への視覚情報を提示することを目的としたシステムの設計も行う.実世界のロボットと同 期したCGアバタを情報世界に設け,このアバタに対して行った物理シミュレーションの 結果に従ってロボットを制御する.
このように,情報世界に対する入出力装置としてロボットを利用し,力覚提示装置とし てのRUIシステムと,視覚提示装置としてのRUIシステムを提案し,実装を行った.そし て,既存のインタラクション方法との比較実験を行い,RUIの効果に関する知見を得た.
3.2. 関連研究
情報世界への入出力を直感的に行うことを目的として,様々なインタフェースの研究が 行われている.
TUIは実物体の持つアフォーダンスを活かし,ユーザが実物体を通じて情報世界に対し て直接的にインタラクションを行うことを可能としている.ActiveCube[25]は,実物体のブ ロックを組み合わせることで,その3次元形状をコンピュータにリアルタイムで入力する ことや,ブロックを傾けるなどして,コンピュータ内のCGモデルの姿勢を変化させるこ とが出来るインタフェースである.これらの研究は実物体を用いることで直感的なインタ ラクションを可能としているが,インタラクション方法は実物体の持つ形状に依存してい る.
また,実体を持つユーザインタフェースを用いず,EyeToy™やモーションキャプチャ装 置などを用いて人の動作をカメラで認識することで,その身体動作を利用して直接的にイ ンタラクションを行う手段も存在する.人の動作を利用しているため,直接的なインタラ クションが可能であるが,詳しく身体動作を取得する場合には装置が大掛かりなものとな ってしまう.また,人に力覚を提示する場合には他のデバイスを追加する必要がある.
力覚を伴うインタラクションが可能であるものとしては PHANToM や SPIDAR,AED,
Haptic Master[26],Smart Tools[27]などがある.装置によって人の運動を拘束することによ って,直接的に人の体に力の大きさや方向を提示するものであり,主に手に対して力覚提 示を行う.全身に装置を装着させて,全身に対する力覚提示を行うことも可能であるが,
その場合は装置が大規模なものになってしまう.
情報世界へのインタラクション方法として,人が直接インタラクションを行うのではな く,CG アバタを通じて行うものがある.そして,その CG アバタをより簡単に操作する ために,実物体を利用した様々なインタフェースが開発されている[28][29].その中に,CG アバタへの入力装置としてロボットを利用したものとして Swamped![30]がある.これは,
接触センサや曲げセンサ等のセンサを搭載したロボットに情報世界内のCGアバタと同じ 外観を持つぬいぐるみを着させ,TUI としてそのロボットを操作することで,CG アバタ に決められた一連の動作を行わせるものである.これは,インタフェースがCGアバタと 同じ形状・外観を持つため,人の操作に対して似通った動作をCGアバタに行わせること が可能である.また,ぬいぐるみ型ロボットを使用することで,ユーザにとって親しみや すいインタラクション環境を整えることが出来ると考えられる[31].
本研究では,情報世界へのインタラクション方法としてはCGアバタを通じて行うもの とし,そのCGアバタと実世界のロボット間で形状を同期させることで,直感的な入力を
3.3. 情報世界のアバタへの入出力方法
RUIでは,実世界に存在するロボットと情報世界に存在するCGアバタ間で形状同期を 行うことで,直感的な入力を可能とする.また,RUI自身の動作や形状の変化によって,
操作者に対しての力覚・視覚情報の提示が可能である.このように,RUIは入出力を兼ね 備えたインタフェースである.
RUIを用いて情報世界に存在するCGアバタの操作を行う具体的な例として,ボクシン グゲームにおいて既存のインタフェースとRUIを用いた場合の入出力方法の違いについて 以下に説明する.
図 3.1 RUIと既存のユーザインタフェース
既存のインタフェースでは,主にボタン等を押すことでCGアバタの移動やパンチ,ガ ード等のアクションを行わせる.つまり,間接的な入力方法を使用している.また,情報 世界からの出力としては,自身のCGアバタが殴られた時に,その衝撃がインタフェース の振動等を通じて操作者に対して提示される,といったものが考えられる.
一方RUIを用いた場合,情報世界の CGアバタと同形状のロボットを実世界に用意し,
CGアバタとロボット間において形状同期を行う.これにより,CGアバタにパンチなどの 動作を行わせたい場合には,操作者が手でロボットの手を動かすといったように,直接的 にアバタの動作を指示入力することが可能である.また,出力に関しても振動といった提 示だけでなく,例えばCGアバタが顔を殴られて首が回転するという場合に,ロボットの 顔が同じ様に回転する等,手に持って操作しているロボットがCGアバタと同様に動作す ることにより,操作者に対して視覚的な情報のみならず力覚的な情報の提示も可能である.
3.4. 設計指針
力覚や視覚提示装置として使用可能な RUI の設計を行う上で,既存の RUI である
RobotPHONEで提案されている遠隔コミュニケーションシステムを参考にした.
RobotPHONEでは,互いに離れた場所に存在するロボットの形や動き等をリアルタイム
に同期することで,ロボット同士の動作を交換可能にしている.通常の電話が声という聴 覚に対する情報を伝達するためのデバイスであるとすると,RobotPHONEでは入出力のイ ンタフェースとして実体を有するロボットを使用しているため,ロボット自身の動作とい った視覚情報や,ロボットに触れることで相手の力を感じられるといった力覚情報の伝達 も可能である.
RobotPHONE では実世界に存在する RUI 同士で形状同期を行った.この RobotPHONE
に対して今回製作するRUIは,実世界に存在するRUIと,情報世界内に存在するCGアバ タとを繋いで形状同期を行うもの,と言うことができる.
図 3.2 RUIの形状同期 上 - RobotPHONE 下 - 提案するRUI
3.5. システム構成
3.5.1. RUI
直感的な入力や力覚・視覚情報の提示装置としてロボットを利用するシステムを構築す る.ロボットとしては,人が手で持って操作可能な大きさであり,各関節を動かして操作 すると同時に力覚や形状情報の提示が可能である必要がある.よって,関節動作時に抵抗 が少なくバックドライバビリティを有する必要がある.また,CG アバタとロボットを同 期させるため,ロボットの各関節角度の取得が可能である必要がある.
今回RUIとして使用するロボットに関しては,既存のRUIであるIP RobotPHONE(イ ワヤ株式会社)を使用する.このIP RobotPHONEは上半身にのみ自由度を有しており,頭 が2自由度,腕が各2自由度の合計6自由度の小型人型ロボットである.PCに対しては USB接続であるため簡便に使用することができ,ロボット自体にスピーカーとマイクが内 蔵されているので,音声伝達も可能なハードウェア構成となっている.IP RobotPHONEの 制御には,現在設計が進められているRUIライブラリを用いることが可能である[32].RUI ライブラリは,C++やC#,BASIC,JAVAなどに加えMacromedia 社の Director や Flash な どマルチメディアオーサリング環境からもRUI を扱うことが可能である.OSに関しても
WindowsだけでなくLinuxなどのマルチプラットフォームへの対応も進められている.
図 3.3 IP RobotPHONE:左 – IP RobotPHONE外観 右 – IP RobotPHONE内部機構
人が何か実世界に存在する物体に対して触れるなどのインタラクションを行う場合,主 に手を使って行う.このため,RUIでインタラクションを行う際にも手を用いると考える と,最低限上半身の自由度を持てば,RUIの入力装置としての役割は果たせると考えられ る.出力装置として用いる場合は,人の全身を使った動作の提示が行えるよう下半身の自 由度を付加するべきであると考えられる.
そこで,本研究において使用するRUIに関しては,力覚提示装置として用いるRUIには,
上半身に合計6自由度を持つIP RobotPHONEを使用した.
視覚情報を提示する出力装置-ディスプレイ-として利用可能なRUIにおいては,上半身 だけでなく下半身を用意し,歩行動作を出力することが可能なものとする.今回は歩行動 作をRUIで出力できる最低限の自由度として,前後に動作する1自由度の左右の足を用意 する.このRUIの製作にはIP RobotPHONEを利用し,1体のIP RobotPHONEから両腕の パーツを取り出し,もう1体のIP RobotPHONEに取り付けて両足のパーツとして使用する.
この足となるパーツの可動範囲は約180[deg]であるが,前後等しくそれぞれ90[deg]に可動 するのではなく,人間と同様に後方より前方への可動範囲を広くするように取り付ける.
IP RobotPHONEではRUIライブラリを用いての制御が可能であったが,新たに取り付け
た足パーツの制御は行えない.そこでRUIの各関節の制御には,ワンボードマイコンと自 作の駆動用サーボ回路を使用し,頭2自由度,両腕各2自由度,両足各1自由度の合計8 つの関節の制御を行う.
3.5.2. 形状同期方法
実世界に存在するRUIと,情報世界内に存在するCGアバタとで形状同期を行う.実世 界のRUIを人が動かすと情報世界内のアバタが同じように動き,情報世界内のCGアバタ がなんらかの作用を受けて形状が変化する場合には,そのCGアバタと同様にRUIの形状 が変化することになる.これにより,RUIを通して人に対して力覚情報や視覚情報が提示 されることになる.
IP RobotPHONEを利用したRUIシステムでの形状同期方法は以下のようになる.
CGアバタの関節角度の取得や関節の動作はPC側のCGアバタの描画に関連するプログ ラム内で処理を行う.RUIの関節角度の取得や関節の動作に関しては,RUIに内蔵された マイコンをPC側から制御することで行う.PC側からのRUIのマイコンの制御には,PC 側のプログラムにRUIライブラリを組み込むことで容易に行うことが可能となる.そのラ イブラリ内に定義されている関節角度取得用の関数や関節を目標角度まで動作させる関数 をPC側のプログラム内で実行することで,RUIに対してUSBを通じて信号が送受信され,
関節角度の取得と関節の動作を指示できる.
図 3.4 RUI(IP RobotPHONE)とCGアバタの形状同期システム構成
IP RobotPHONEに両足の自由度を追加したRUIにおいては,自作の駆動用サーボ回路と
ワンボードマイコンを使用して,RUIとPC 内のCGアバタとで形状同期を行った.サー ボ回路では,ドライブICに東芝DCモータ用TA8440Hを使用した.また,ワンボードマ イ コ ン の CPU に は ルネ サ ステ クノ ロ ジ社の H8/3052F を , ボード に は秋 月電 子 の
AKI-H8-USB開発ボードキットを使用した.ワンチップマイコンに内蔵された機能のうち,
ポテンショの読み取りに10bitA/Dコンバータ,PWM出力に16bitインテグレーテッドタイ マユニット(ITU),PCとの通信にシリアルコミュニケーションインタフェース(SCI),サー ボ制御にI/Oポートなどを使用した.
具体的な形状同期方法としては,RUIの各関節のポテンショの値をマイコンのA/Dコン バータを使用してA/D変換し,その変換した値をPCへシリアル通信で送信し,アプリケ ーション内でその値を利用して CG アバタの関節角を変化させる.これにより,PC 内の CGアバタの形状をRUIの形状に同期させる.逆に,RUIの形状を PC内のモデルの形状 に同期させる場合には,PCから各サーボの動作角度の目標値として10bitの値をマイコン に送信し,その値を用いてP制御を行う.そして,サーボにかける電圧をPWMにより変 化させて,各モータを指定の角度まで動作させる.力覚提示を行う場合にもこの方法と同 様に,CGアバタが情報世界内で受けた力に応じて各サーボの動作角度の目標値をPCから マイコンへ送信し,サーボを動かすことで実現する.
RUI (IP RobotPHONE)
マイコン
PC
サーボモータ ポテンショの値
関節角 関節角
関節角
サーボ動作
RUIの各関節角度
関節動作・
関節角取得指示 サーボモータ
・・・・
サーボモータ
・・・・
図 3.5 RUIとCGアバタの形状同期システム構成
3.5.3. RUIの仕様
各RUIの仕様は以下に示す通りである.
力覚提示装置のRUIとして利用したIP RobotPHONEの内部機構のパーツの寸法,重量 は次のようになった.
腕パーツ・頭パーツの長さが84[mm],胴体の幅が80[mm],両腕を広げた状態での右腕 の先端から左腕の先端までの長さが249[mm],腕の関節から先端まで(腕パーツの回転中 心から腕パーツの先端まで)の長さが70[mm]となっている.また内部機構の重量は450[g],
この内部機構に熊のぬいぐるみを着せた状態の重量は630[g]である.
IP RobotPHONEのサーボモータの減速比は69分の1,操作者がRUIの関節を曲げると
きに必要なトルクは測定の結果,19.6 [mN・m]であった.両腕の可動範囲は180[deg]であ り,腕を左右方向へ動かすサーボモータは,腕を体の真横に伸ばした状態から±90[deg]回 転するようになっている.ただしRUIライブラリを用いた場合,デフォルト設定での腕の 可動範囲は前方向に 90[deg],後方へは約50[deg]となっており,この可動範囲でインタラ クションシステムを実装する.
RUI
マイコン
PC
サーボモータ サーボモータ サーボモータ
サーボモータ サーボ回路 サーボ回路
サーボ回路
サーボ回路
ポテンショの値
関節角 関節角
関節角
関節角
サーボ制御信号 (PWM信号他)
ポテンショの
A/D変換値
関節の目標値
図 3.6 IP RobotPHONE内部機構寸法図 上 - 上面から 下 - 正面から
IP RobotPHONEにおけるサーボモータに入力する電流値に対してトルクの関係は図 3.7 のように,製作したシステムでの目標角度と現在の関節角度の差に対してのトルクの関係 は図 3.8のようになった.
図 3.7 IP RobotPHONE使用のRUIでの電流値とトルクの関係
図 3.8 IP RobotPHONE使用のRUIでの目標角度と現在の関節角度の差とトルクの関係
視覚情報を提示する機能を有するように,IP RobotPHONEの本体と腕パーツを利用して 両足を付加したRUIに関しての,内部機構のパーツの寸法,重量は次のようになった.上 半身の寸法に関しては図 3.6と同様であるため省略する.
脚部のパーツは腕パーツを利用しているため,同様に長さが84[mm],脚部を下方向に伸 ばした状態での脚部先端から頭部までの長さが260[mm]となっている.内部機構の重量は
540[g],この内部機構に熊のぬいぐるみを着せた状態の重量は720[g]である.
また脚部は,前方向への可動範囲を広く取るように,胴体に対して垂直ではなく前方へ
20[deg]傾けた状態から前後90[deg]の可動範囲を持つように取り付けている.
図 3.9 視覚提示装置としてのRUI
左上 - RUI外観 右上 - RUI内部機構
左下 - RUI脚部 右下 - RUI内部機構寸法(正面から)
視覚提示装置としてのRUIはIP RobotPHONEのパーツを利用したものであるため,関 節のサーボモータの減速比,操作者がRUIの関節を曲げるときに必要なトルク,関節の可
動範囲はIP RobotPHONEと同一である.
このRUIの関節の動作には,RUIライブラリは使用せずに自作のサーボ回路を使用して いるため,発生するトルクはIP RobotPHONEとは異なる.このRUIにおけるサーボモー タに入力する電流値に対してのトルクの関係は図 3.10のように,製作したシステムでの目 標角度と現在の関節角度の差に対してのトルクの関係は図 3.11のようになった.なお,サ ーボ駆動用の電源はDC12Vである.
図 3.10 視覚提示用RUIでの電流値とトルクの関係
各RUIの仕様をまとめると以下の表 3.1のようになる.
表 3.1 各RUIの仕様
力覚提示用RUI (IP RobotPHONE)
視覚提示用RUI (IP RobotPHONEを改造)
内部機構の重量 [g]
450 540
全重量 [g]
630 720
モータの減速比
69:1 69:1
必要操作トルク [mN・m]
19.6 19.6
最大提示可能トルク [mN・m]
190 190
腕の可動範囲 [deg]
(前方向を正,後ろ方向を負とする)