2つの把持型デバイスを用いたロボット操作手法の評価

全文

(1)Vol.2011-EC-19 No.14 2011/3/26. 情報処理学会研究報告 IPSJ SIG Technical Report. 1. はじめに. 2 つの把持型デバイスを用いたロボット操作手法の評価. コンピュータの小型化，高性能化に伴い，遠隔操作・自律動作可能なロボットが普及している．今後は日常生活品や情報家電など身近に存在するあらゆるオブジェクトが自由に移動. 川那部寺田. 聖史†1 佐野努†1,†3 塚本. 渉昌. 二†2 彦†1. できるロボットになることが期待されており，以下のような用途が想定されている．. • みんなで写真を上から撮りたいので，カメラが搭載されている飛行型ロボットを操作し，カメラを上空で自由に動かして撮影する．. • 地震が起こり，歩行不可能な場所がある．そこに被災者がいるかもしれないので，カメ. 日常生活において利用されるロボットは今後ますます増加することが想定されており，多種多様なロボットを単一のインタフェースで選択して操作することが求められる．一方，ラジコンなどを操作するプロポは，ロボット視点での操作であるため，ユーザから見た直観的な制御が難しいという問題があった．そこで本研究では，2 つの把持型デバイスを用いてロボットを選択，操作する手法を提案する．ユーザはデバイスの指している方向に線が伸びていると想定した把持型デバイスを両手に 1 つずつ持ち，両手の把持型デバイスから伸びた 2 直線が交差しているところをポインティング位置とする．ポインティング位置の変化やデバイスを持つ腕のジェスチャ入力によって，ロボットの選択，移動，回転などの動作を直観的に指示できるようにする．本稿では，提案手法のプロトタイプを実装し，その操作性を評価することで有効性を示した．. ラ搭載の飛行型ロボットを操作し，歩行不可能な場所に被災者がいないかどうかを探索する．これらを実現するためには，ロボットを見ながら直観的に操作ができるユーザインタフェースが求められる．ロボットを操作するためのインタフェースとしては，ラジコンなどに用いられるプロポがあるが，ロボットの主観視点に基づく制御であるため，ユーザから見たときの制御が難しい．また，ロボット 1 台ごとに専用のプロポが必要なため，複数のロボットを操作する場合は複数のプロポを使用して操作しなければならない．一方，飛行型ロボットが写真をとるという操作に着目したときに，従来のユーザインタフェースではボタンを押して操作する．例えば，写真を撮るときにはカメラのシャッタを押す．音楽プレーヤで音楽を流. An Evaluation on a Robot Operation Method with Two Handheld Devices. すときは再生ボタンを押す．しかし，これらの操作を 1 つのロボットで制御しようとしたとき，ボタンが増えてしまい，ユーザはボタンの機能を 1 つ 1 つ覚えなければならなくなり. Kawanabe,†1. Sano,†2. 操作が複雑になる．. Satoshi Shoji †1,†3 Tsutomu Terada and Masahiko Tsukamoto†1. そこで本研究では，2 つの把持型デバイスを用いてロボットを操作する手法を提案する．提案手法では，2 つの把持型デバイスで 3 次元ポインティングすることでロボットを選択し，ユーザの主観視点で直観的にロボットを操作する．. Recently, autonomous and remote-controlled robots have become popular. In the near future, since there will be more robots in our daily lives, we need an interface to control these robots by single control method. Conventional method to control a robot is not intuitive because we cannot control them from subjective view. In this paper, we propose a new robot control method that employs two handheld devices on the user’s both hands to select and operates a robot. We assume that there are virtually two lines along with the directions of both devices and the pointing position is set to the crossing point of two lines. Using the proposed pointing function and gesture with these devices, we can control robots intuitively and easily. We actually implemented a prototype and evaluated the eﬀectiveness of the proposed method.. 本稿は以下のように構成されている．以降，2 章で関連研究を紹介し，3 章において 2 つの把持型デバイスを用いたロボット操作手法ついて述べ，4 章ではプロトタイプの実装について述べる．5 章で提案手法に関する評価について述べ，最後に 6 章で本稿のまとめを行う． †1 神戸大学大学院工学研究科 Graduate Scholl of Engineering, Kobe University †2 神戸大学大学院自然科学研究科 Graduate Scholl of Science and Technology, Kobe University †3 科学技術振興機構さきがけ PRESTO, Japan Science and Technology Agency. 1. c 2011 Information Processing Society of Japan ⃝.

(2) Vol.2011-EC-19 No.14 2011/3/26. 情報処理学会研究報告 IPSJ SIG Technical Report. 2. 関連研究. ポインティング線. ロボットをユーザの主観視点で操作するインタフェースとして，Shepherd1) がある．Shep-. ポインティング位置. herd1) では，カメラ搭載のモバイル PC にロボットを写すことでロボットを選択し，PC を動かした方向によって，移動方向を決定して操作する．さらに，カメラで複数台のロボット. デバイス. を撮影することによって一斉制御をしたり，カメラをズームさせて 1 台のロボットの制御を実現する．このインタフェースはユーザの主観視点による操作になっているため直観的であるが，ディスプレイを見ながら操作する必要があるため，実際にロボットを見ながら操作す. デバイス. ることは難しい．また，3 次元方向に移動する飛行型ロボットの制御は考慮されていない．ジェスチャによってロボットの操作をする研究もされている．Cheng らは，両手に Wii リモコンを持ち，両手のジェスチャでロボットの制御をし，その有効性を示している2) ．腕を. 図1. 3 次元ポインティング. 挙げるとロボットも手を挙げるなど，ユーザの操作とロボットの動きに関連性を持たせるこ. • 1 つのインタフェースで複数のロボットを操作ができる．. とで，操作を単純にしている．さらに，仮想空間内ではあるが，3 次元空間において正確な 3). ポインティングを行う研究がある．Grossman らは，ユーザがデバイスを 1 つ手に持ち，. 複数のロボットを使用する際，複数のインタフェースを使用するとその利便性は低下す. 3 次元ディスプレイにおいてデバイスの指している方向から出力されるレーザ光線を利用し. る．1 つのインタフェースでどのようなロボットでも操作できる必要である．. • 視覚フィードバックによる操作の確認ができる．. た 3 次元ポインティングを行っている3) ．この研究ではレーザ光線に沿って深さマーカを利用してマーカが移動することでポインティングしたり，レーザ光線から最も距離の近い対象. 実世界でのポインティングは，ユーザがどこをポインティングしているのかが分かる必. をポインティングする方法を提案している．レーザ光線によって平面を決定したあとに，奥. 要がある．そこで何かしらの視覚フィードバックによって，ユーザに現在ポインティン. 行きを時系列で操作したり，対象との距離などを利用してポインティングを行うといった手. グしている場所を把握させることが必要となる．. 3.2 提案手法. 順を踏む必要があるため，すばやい 3 次元ポインティングが行えない．. 以上の要件を満たすインタフェースとして，2 つの把持型デバイスを用いた手法を提案す. 3. 2 つの把持型デバイスを用いたロボット操作手法. る．提案手法では，実世界で 3 次元ポインティングを実現し，そのポインティングによって. 3.1 要求事項. ロボットの選択，移動操作をユーザの主観視点で操作ができる．Grossman らの 1 つのデ. 2 章で挙げた問題点からロボットを操作するための要求事項を整理する．. バイスでの 3 次元ポインティング3) とは違い，2 つのデバイスで 3 次元空間の 1 点を指す. • 3 次元での正確かつすばやいポインティングができる．. ことで，時系列を利用しないポインティングを可能とする．本研究では，両手にデバイスを. 操作するロボットの選択や移動操作をするためには，実世界でのポインティングを必要. 持ち，それぞれのデバイスから指している方向へのばした線をポインティング線と定義し，. とする．特に，飛行型ロボットなど空間を飛ぶことのできるロボットを選択するときに，. これを用いる (図 1)．この 2 つのポインティング線の交点を 3 次元ポインティングの位置. 3 次元の位置を正確に捉えられることが望ましい．. として扱う．このポインティングの位置を用いてロボットに合わせることで，操作対象のロ. • ユーザの主観視点による直観的な操作ができる．. ボットを選択し，ポインティングした位置を動かすことによりポインティングした位置を追. ロボット視点での操作ではなく，操作するユーザの主観視点での操作が要求される．ま. 従するようにして移動する．移動制御以外の特定の操作に対してはジェスチャやポインティ. た，誰でも使用可能とするためには複雑な操作のない直観的な操作が必要である．. ング線の変化を使用する．ジェスチャは人が日常の生活で使用する動きとロボットの操作を. 2. c 2011 Information Processing Society of Japan ⃝.

(3) Vol.2011-EC-19 No.14 2011/3/26. 情報処理学会研究報告 IPSJ SIG Technical Report a. b. c. d. 移動操作操作対象の決定. 操作の終了. 図 3 ジェスチャ入力. にカメラがついている場合，そのとき撮影している映像を静止画として保存する．. (c). ジェスチャ操作. 偵察: 一方のポインティング線でロボットを指しながら，フリスビーを投げるように他方のデバイスを動かす．ロボットは，特定の範囲を 1 周動く．. 図 2 提案インタフェース. (d). 緊急停止: この場合のみポインティング線をロボットに指さない．両方のデバイスを上に向けることで，ロボットが何らかの制御をされていても，ロボットの操作は停止する．. 関連付けることで，ユーザに操作方法を覚えやすくする．提案手法は，図 2 に示すように，以下の 3 段階に分けられる．. (1). (3). 操作の決定: 操作したいロボットに対してポインティングし，1.5 秒間維持すると操. 互いにに遠ざけることによって，ロボットの操作が終了する．. 作するロボットを決定する．. (2). 操作の終了: ロボットを操作しているときに，2 つのポインティング線を水平方向に. 4. プロトタイプ. ロボットの操作: 選択されたロボットは移動操作とジェスチャによって下記のような. 図 4 に実装した把持型デバイスとロボットを示す．把持型デバイスは，カメラ，Wii リモ. 操作ができる．. • 移動操作: 移動させたい場所に向かってポインティング位置を移動させることで，ロ. コン，レーザポインタ，ハーフミラーから構成される．カメラは環境内やロボットに貼り付けたマーカを検出してデバイスの位置や方向などの姿勢を推定するために用いる．Wii リモ. ボットはそのポインティング位置を追随するように移動する．. • ジェスチャ操作: 一方のデバイスのポインティング線によって操作対象のロボットを. コンは，内臓されている 3 軸加速度センサを用いてジェスチャ認識を行う．レーザポインタ. 指すことでロボットを静止させ，他方のデバイスを動かすことで，コマンドを入力. は，どこを指しているか把握できるように視覚フィードバックとして用いる．ハーフミラー. し，ロボットに特定の動作をさせる．ジェスチャ操作の例を挙げる (図 3)．. は，カメラとレーザポインタの光軸を合わせることで，ユーザが指す位置と実際に計算され. (a). (b). 回転: 一方のデバイスで円を描くようにポインティング線を反時計周り (時計周. る位置を正確なものにするために用いた．制御するロボットには Mindstorms NXT を用い. り) に回転し続けることで，物体の水平方向に対して反時計回り (時計周り) に回. る．操作を行う環境とロボットには正方形マーカを多数配置する．このマーカは，デバイス. 転し続ける．ロボットの向いている向きを反転させたい場合には，両方のポイン. のカメラがロボットの検出や，ロボットととの相対位置を推定するために用いる．この相対. ティング線でロボットを指しながら，円描くようにしてデバイスの位置を入れ替. 位置を用いて，ポインティング線の方向を決定したり，マーカの軌跡によるジェスチャを認. えるように動かす．. 識させる．ロボットを動かすためのジェスチャ入力は，この他に Wii リモコンの 3 軸加速. 撮影: スタンプを押すようにして一方のデバイスをロボットに近づける．ロボット. 度センサも用いる．ロボット操作におけるシステム処理の流れを以下に示す (図 5)．. 3. c 2011 Information Processing Society of Japan ⃝.

(4) Vol.2011-EC-19 No.14 2011/3/26. 情報処理学会研究報告 IPSJ SIG Technical Report. ハーフミラー画像情報光源. カメラ Wiiリモコンレーザポインタ図4. マーカ. デバイス. ループ. Mindstorms. 静止 (ループ). デバイス. no. どちらかのデバイスがマーカを指す. no. ジェスチャ認識. yes. no. 両方のデバイスを上に向ける (ジェスチャ). 対応する制御を実⾏. 3. 操作パラメータ. 両方のデバイスを水平方向に遠ざける. マーカの 2 次元位置の情報の取得: マーカを撮影し，マーカの 2 次元情報を取得する．. (2). デバイス情報の送信: デバイス情報としてカメラに撮影された 2 次元情報と加速度セ. ロボット回転. yes. 操作の終了. ロボットの移動操作. ロボット移動. 静止 (ループ). ンサ値を PC に送信する．. (3). 緊急停止. ロボットを回転させる量の決定. システム構成. (1). yes. no. 静止 (ループ). ロボット. 両方のデバイスがマーカを指す. yes. yes. PC 図5. ロボット選択. 静止 (ループ). 2.デバイス 2.デバイス情報. 1. 撮影. マーカ. ポインティング線，ジェスチャ認識の計算，操作コマンドの送信: カメラが得たマー図 6 操作の流れ. カの 2 次元座標からカメラに対するマーカの 3 次元位置と方向や操作環境に対するカメラの 3 次元位置と方向を 2 つのカメラについて求め，ポインティング線を決定. る複数のカメラの位置と方向の座標の外れ値を除き，平均化することで，それぞれのデバイ. する．PC が識別した操作コマンドをロボットに送信する．. 4.1 3 次元ポインティング. スの位置と方向を決定する．決定されたデバイスの位置と方向から，2 直線の最近点座標を. 3 次元ポインティングは 2 つのポインティング線の交点とした．しかし，実際は 3 次元空. それぞれ求める．最近点は人間の目で交差していないように見えるときでも計算されるた. 間において交点ができるようにポインティング線を動かすことは難しい．そこで，2 つのポ. め，2 直線の距離が一定の値より小さいときのみ求めることとする．この数値は予備実験を. インティング線の最近点の座標をそれぞれ求め，その中点の座標を 3 次元ポインティングの. した結果をもとに，20cm 以内とした．. 位置とした．2 つのデバイスの位置や方向などの姿勢は環境に配置されたマーカとの相対位. 4.2 ロボット操作. 置によって計測できる．配置されたそれぞれのマーカには操作環境での座標系に対する絶対. 選択されたロボットは移動操作とジェスチャによる操作を行う．ロボット操作におけるフ. 座標を与えておく．カメラが複数のマーカを認識したときに，それぞれのマーカに対するカ. ローチャートを図 6 に示す．ロボットの移動操作は 2 つのデバイスの動かす方向で決まる．. メラの位置ベクトルと方向ベクトルが計算される．それぞれのマーカに対するカメラの位置. この 2 つのデバイスのカメラで撮影されたときのロボットのマーカの位置によってカメラの. と方向は，操作環境の座標系と対応するように変換する．得られた操作環境の座標系におけ. 光軸からロボットのある方向から求める．ロボットはカメラの光軸に近づくにように制御を. 4. c 2011 Information Processing Society of Japan ⃝.

(5) Vol.2011-EC-19 No.14 2011/3/26. 情報処理学会研究報告 IPSJ SIG Technical Report y. 60. 16. y. 14. 50. 12 ] c e s [. x. 10. 間時 8 均平 6. 原点 (0 , 0 , 0 ). A B C D E. 4 2. x. 0. z. 2. 評価環境図8. 行うことで追従させる．ジェスチャ操作はどちらか一方のデバイスがロボットを指している. 40 A B C D E. 間時30 均平 20 10 0. 1 図7. ] c e s [. 3. 4. 回数. 5. 6. デバイス 1 つの場合. 7. 1. 2. 図9. 3. 4. 回数. 5. 6. 7. デバイス 2 つの場合. ときに行う．デバイスを横に振るなど，素早い動きやデバイスの姿勢に依存するジェスチャに対しては 3 軸加速度センサを利用し，腕を回し続けるなど，ゆっくりした動きに対して. の座標系においてカメラで x − y 平面の座標を決定し，Wii リモコンの十字キーの上下ボタ. は，カメラ画像から得るマーカの軌跡を利用することとした．. ンを利用し，ボタンを 1 回押すごとに z 軸に対して± 10cm 変更できるものとした．. 5. 評. 評価結果を図 8，9 に示す．グラフの縦軸は，被験者が 1 日につき 15 回ポインティング. 価. をしたときの 1 回当たりの平均時間，横軸は日数である．結果から，個人差はあるがどちら. 5.1 ポインティングに関する評価. のインタフェースでもある程度の習熟が見られた．しかし，それぞれのインタフェースを比. 提案インタフェースの 3 次元ポインティングに関する評価を行った．評価環境として，図. 較すると，デバイス 1 つの場合の方がどの被験者も 1 回目から速くポインティングができ. 7 のような評価環境においてポインティングするオブジェクトである風船 27 個を配置した．. る．これは，以下に挙げる 2 つの理由が考えられる．1 つ目は視覚フィードバックの情報が. 常時マーカを認識できるように，マーカを 24 個同じ平面上に設置し，この平面を評価環境. 不十分だという理由である．デバイス 2 つの場合は，2 つのレーザポインタの光が同時に見. の座標系における z = 0 平面とする．まず，被験者にインタフェースの使用方法と評価方法. ることができない場合がある．目標の風船が被験者に近い風船に対しては，両方のレーザポ. について説明した．評価方法としては，PC のディスプレイにポインティングするべき風船. インタが当たり，被験者も同時に見ることができるため，容易にポインティングできるが，. をランダムに指示する．指示された風船を 1.5 秒間ポインティングすると，次のポインティ. 目標の風船が遠くにある場合は，両方のレーザポインタを当てようとすると，その前にあ. ングするべき風船をランダムに指示する．今回は 3 次元ポインティングの評価を効果的に. る風船が邪魔になるため，2 つを同時に確認することができないときがあった．ポインティ. するため，z の値は常に変化するように設定した．これを 5 回を 1 セットとし，3 セット繰. ングの速い被験者は奥の風船を指すときに手前の風船にレーザポインタの光が当たっても，. り返したときの平均ポインティング時間を測定した．被験者は 22∼25 歳の男性であり，こ. そのあとのポインティング線をイメージし，そのイメージが目標の奥の風船を指すことで. れを 7 日間繰り返すことで，習熟度合を評価した．なお，参考データが必要なため比較対. きていた．2 つ目の理由は，被験者にとって風船が遠くなるほど，風船を指したときに z 軸. 象として，デバイス 1 つのみを用いて 3 次元ポインティングを行う手法を実装した．比較. 方向の値の変化が大きくなることである．奥行きの値は被験者の腕の動かし具合に依存し，. 手法では z 軸の変化がレーザポインタのみでは確認できないため，両手法において PC の. 腕をよく動かす被験者はポインティングが遅くなった．このように，評価結果としてデバイ. ディスプレイには現在のポインティング位置を表示した．デバイス 1 つの場合は，評価環境. ス 1 つのみを用いた場合の方がよくなったが，デバイス 1 つの場合は画面に表示される数. 5. c 2011 Information Processing Society of Japan ⃝.

(6) Vol.2011-EC-19 No.14 2011/3/26. 情報処理学会研究報告 IPSJ SIG Technical Report 表 1 操作に関する評価の結果評価項目平均スコア. 字と目標となる風船の座標を見ながらポインタを合わせているため，実環境で用いることを想定した場合，頭部装着型ディスプレイ等を用いて数字の提示をする必要がある．一方，. デバイス 2 つは操作しやすい. 提案手法はそのようなディスプレイが存在していなくても視覚のみによりポインティングが. デバイス 1 つは操作しやすい. 3.62 3.62 3.67 3.75. ジェスチャ操作は有効である. 行える．上記に挙げた提案手法の問題点の解決策として，レーザポインタの光路を可視化. 2 つ持つことに違和感がある. 標準偏差. 1.11 0.85 0.92 0.82. する手法4) が挙げられる．レーザポインタの光路を可視化し，実際にポインティング線をユーザに提示することで，より正確ですばやいポインティングが可能であると考えられる．また，ジェスチャによる操作を増やし，遠くにあるオブジェクトはポインティングの位置を. を確認した．3 次元ポインティングの評価から，ユーザへの視覚フィードバックとして今回. 追従しないでも，ジェスチャのみで操作をすることが必要である．これは，今後の課題とし. 用いたレーザポインタとしての視覚情報が足りず，レーザポインタの光路を示すような視覚. て取り組みたい．. フィードバックを考慮する必要があることが分かった．. 5.2 ロボット操作に関する評価. 今後の課題としては，デバイスをより小型化し，ユーザの指に装着できるものの作成や，. 22∼25 歳の男性 8 人にプロトタイプを操作してもらいアンケートに回答してもらった．. 視覚フィードバック情報の提示をシステムに加えることが挙げられる．また，本研究のプロ. 比較対象として，Wii リモコンの十字キーを用いてロボット視点で制御をするインタフェー. トタイプでは，地面を移動するロボットの操作を対象としていたが，提案手法は 3 次元空間. スの実装を行った．まずインタフェースの説明を被験者にし，筆者のロボットを操作する姿. 上での自由の機器操作に対応している．したがって，自律飛行のできるロボットなど 3 次元. を見てもらったあとに，簡単なタスクをしてもらい回答してもらった．最後に自由に感想を. 空間上を移動するロボットを，実際に操作できるシステムの構築を行うことも今後の課題で. 述べてもらった．. ある．. 評価結果を表 1 に示す．それぞれのインタフェースでの操作性についてはそれほど変わら. 謝辞本研究の一部は，科学技術振興機構戦略的創造研究推進事業 (さきがけ) および文. なかった．被験者のコメントでは，レーザポインタの軌跡をロボットが追従することは直観. 部科学省科学研究費補助金基盤研究 (A)(20240009)，特定領域研究 (21013034) によるもの. 的であるというコメントあった．しかし，床を追従するロボットに対する操作ではデバイス. である．ここに記して謝意を表す．. を 1 つでもできるのではないかというコメントがあった．これは自律飛行型ロボットでの操. 参. 作の実現することで，提案インタフェースが 3 次元ポインティングで操作できることを強調. 考. 文. 献. 1) Hosoi, K. and Sugimoto, M.: Shepherd: An Interface for Overcoming Reference Frame Transformations in Robot Control, Proc. of IEEE ROBIO2006, pp.908–913 (2006). 2) Guo, C. and Sharlin, E.: Exploring the Use of Tangible User Interfaces for HumanRobot Interaction: A Comparative Study, Proc. of the 27th International Conference on Human Factors in Computing Systems (CHI2008), pp.121–130, (2008). 3) Grossman, T. and Balakrishnan, R.: The Design and Evaluation of Selection Techniques for 3D Volumetric Displays, Proc. of the 19th Annual ACM Symposium on User Interface Software and Technology (UIST2006), pp.3–12 (2006). 4) 岡本周, 酒田親, 西田正吾: 光路を可視化したレーザポインタを用いた遠隔協調作業用小型端末, 日本バーチャルリアリティ学会第 13 回大会抄録集, pp.276–279 (2008).. しなければならない．デバイスが 1 つのときは，ユーザとロボットの向いている方向が逆のときに操作することに違和感がある人がいた．これは提案手法の直観性で解消できる．デバイスを 2 つ持つことによる違和感を感じる被験者も少なかったため，視覚フィードバックの情報を増やすことで、ユーザにとってより使いやすいインタフェースになると考えられる．ジェスチャに関しては，手を大きく動かすことでロボットを操作しているというイメージを持てるため操作と関連付けしやすいという被験者もいた．ジェスチャを増やすと面白くなるという意見もあった．. 6. まとめと今後の課題本稿では，2 つの把持型デバイスを用いたロボット操作手法を提案した．さらに，提案手法のプロトタイプを実装し，従来の手法と比べて提案手法の方が直観的に操作できること. 6. c 2011 Information Processing Society of Japan ⃝.

(7)