2
つの把持型デバイスを用いたロボット操作手法の評価
川 那 部
聖 史
†1佐
野
渉
二
†2寺
田
努
†1,†3塚
本
昌
彦
†1 日常生活において利用されるロボットは今後ますます増加することが想定されてお り，多種多様なロボットを単一のインタフェースで選択して操作することが求められ る．一方，ラジコンなどを操作するプロポは，ロボット視点での操作であるため，ユー ザから見た直観的な制御が難しいという問題があった．そこで本研究では，2 つの把 持型デバイスを用いてロボットを選択，操作する手法を提案する．ユーザはデバイス の指している方向に線が伸びていると想定した把持型デバイスを両手に 1 つずつ持ち， 両手の把持型デバイスから伸びた 2 直線が交差しているところをポインティング位置 とする．ポインティング位置の変化やデバイスを持つ腕のジェスチャ入力によって， ロボットの選択，移動，回転などの動作を直観的に指示できるようにする．本稿では， 提案手法のプロトタイプを実装し，その操作性を評価することで有効性を示した．An Evaluation on a Robot Operation
Method with Two Handheld Devices
Satoshi Kawanabe,
†1Shoji Sano,
†2Tsutomu Terada
†1,†3and Masahiko Tsukamoto
†1 Recently, autonomous and remote-controlled robots have become popular. In the near future, since there will be more robots in our daily lives, we need an interface to control these robots by single control method. Conventional method to control a robot is not intuitive because we cannot control them from subjective view. In this paper, we propose a new robot control method that employs two handheld devices on the user’s both hands to select and operates a robot. We assume that there are virtually two lines along with the directions of both devices and the pointing position is set to the crossing point of two lines. Using the proposed pointing function and gesture with these devices, we can control robots intuitively and easily. We actually implemented a prototype and evaluated the effectiveness of the proposed method.1.
は じ め に
コンピュータの小型化，高性能化に伴い，遠隔操作・自律動作可能なロボットが普及して いる．今後は日常生活品や情報家電など身近に存在するあらゆるオブジェクトが自由に移動 できるロボットになることが期待されており，以下のような用途が想定されている． • みんなで写真を上から撮りたいので，カメラが搭載されている飛行型ロボットを操作 し，カメラを上空で自由に動かして撮影する． • 地震が起こり，歩行不可能な場所がある．そこに被災者がいるかもしれないので，カメ ラ搭載の飛行型ロボットを操作し，歩行不可能な場所に被災者がいないかどうかを探索 する． これらを実現するためには，ロボットを見ながら直観的に操作ができるユーザインタフェー スが求められる．ロボットを操作するためのインタフェースとしては，ラジコンなどに用い られるプロポがあるが，ロボットの主観視点に基づく制御であるため，ユーザから見たとき の制御が難しい．また，ロボット1台ごとに専用のプロポが必要なため，複数のロボットを 操作する場合は複数のプロポを使用して操作しなければならない．一方，飛行型ロボットが 写真をとるという操作に着目したときに，従来のユーザインタフェースではボタンを押して 操作する．例えば，写真を撮るときにはカメラのシャッタを押す．音楽プレーヤで音楽を流 すときは再生ボタンを押す．しかし，これらの操作を1つのロボットで制御しようとしたと き，ボタンが増えてしまい，ユーザはボタンの機能を1つ1つ覚えなければならなくなり 操作が複雑になる． そこで本研究では，2つの把持型デバイスを用いてロボットを操作する手法を提案する． 提案手法では，2つの把持型デバイスで3次元ポインティングすることでロボットを選択し， ユーザの主観視点で直観的にロボットを操作する． 本稿は以下のように構成されている．以降，2章で関連研究を紹介し，3章において2つ の把持型デバイスを用いたロボット操作手法ついて述べ，4章ではプロトタイプの実装につ いて述べる．5章で提案手法に関する評価について述べ，最後に6章で本稿のまとめを行う． †1 神戸大学大学院工学研究科Graduate Scholl of Engineering, Kobe University
†2 神戸大学大学院自然科学研究科
Graduate Scholl of Science and Technology, Kobe University
†3 科学技術振興機構さきがけ
2.
関 連 研 究
ロボットをユーザの主観視点で操作するインタフェースとして，Shepherd1)がある． Shep-herd1)では，カメラ搭載のモバイルPCにロボットを写すことでロボットを選択し，PCを 動かした方向によって，移動方向を決定して操作する．さらに，カメラで複数台のロボット を撮影することによって一斉制御をしたり，カメラをズームさせて1台のロボットの制御を 実現する．このインタフェースはユーザの主観視点による操作になっているため直観的であ るが，ディスプレイを見ながら操作する必要があるため，実際にロボットを見ながら操作す ることは難しい．また，3次元方向に移動する飛行型ロボットの制御は考慮されていない． ジェスチャによってロボットの操作をする研究もされている．Chengらは，両手にWiiリ モコンを持ち，両手のジェスチャでロボットの制御をし，その有効性を示している2)．腕を 挙げるとロボットも手を挙げるなど，ユーザの操作とロボットの動きに関連性を持たせるこ とで，操作を単純にしている．さらに，仮想空間内ではあるが，3次元空間において正確な ポインティングを行う研究がある3)．Grossmanらは，ユーザがデバイスを1つ手に持ち， 3次元ディスプレイにおいてデバイスの指している方向から出力されるレーザ光線を利用し た3次元ポインティングを行っている3)．この研究ではレーザ光線に沿って深さマーカを利 用してマーカが移動することでポインティングしたり，レーザ光線から最も距離の近い対象 をポインティングする方法を提案している．レーザ光線によって平面を決定したあとに，奥 行きを時系列で操作したり，対象との距離などを利用してポインティングを行うといった手 順を踏む必要があるため，すばやい3次元ポインティングが行えない．3. 2
つの把持型デバイスを用いたロボット操作手法
3.1 要 求 事 項 2章で挙げた問題点からロボットを操作するための要求事項を整理する． • 3次元での正確かつすばやいポインティングができる． 操作するロボットの選択や移動操作をするためには，実世界でのポインティングを必要 とする．特に，飛行型ロボットなど空間を飛ぶことのできるロボットを選択するときに， 3次元の位置を正確に捉えられることが望ましい． • ユーザの主観視点による直観的な操作ができる． ロボット視点での操作ではなく，操作するユーザの主観視点での操作が要求される．ま た，誰でも使用可能とするためには複雑な操作のない直観的な操作が必要である． ポインティング線 デバイス デバイス ポインティング位置 図 1 3 次元ポインティング • 1つのインタフェースで複数のロボットを操作ができる． 複数のロボットを使用する際，複数のインタフェースを使用するとその利便性は低下す る．1つのインタフェースでどのようなロボットでも操作できる必要である． • 視覚フィードバックによる操作の確認ができる． 実世界でのポインティングは，ユーザがどこをポインティングしているのかが分かる必 要がある．そこで何かしらの視覚フィードバックによって，ユーザに現在ポインティン グしている場所を把握させることが必要となる． 3.2 提 案 手 法 以上の要件を満たすインタフェースとして，2つの把持型デバイスを用いた手法を提案す る．提案手法では，実世界で3次元ポインティングを実現し，そのポインティングによって ロボットの選択，移動操作をユーザの主観視点で操作ができる．Grossmanらの1つのデ バイスでの3次元ポインティング3)とは違い，2つのデバイスで3次元空間の1点を指す ことで，時系列を利用しないポインティングを可能とする．本研究では，両手にデバイスを 持ち，それぞれのデバイスから指している方向へのばした線をポインティング線と定義し， これを用いる(図1)．この2つのポインティング線の交点を3次元ポインティングの位置 として扱う．このポインティングの位置を用いてロボットに合わせることで，操作対象のロ ボットを選択し，ポインティングした位置を動かすことによりポインティングした位置を追 従するようにして移動する．移動制御以外の特定の操作に対してはジェスチャやポインティ ング線の変化を使用する．ジェスチャは人が日常の生活で使用する動きとロボットの操作を操作対象の決定 移動操作 ジェスチャ操作 操作の終了 図 2 提案インタフェース 関連付けることで，ユーザに操作方法を覚えやすくする．提案手法は，図2に示すように， 以下の3段階に分けられる． ( 1 ) 操作の決定: 操作したいロボットに対してポインティングし，1.5秒間維持すると操 作するロボットを決定する． ( 2 ) ロボットの操作: 選択されたロボットは移動操作とジェスチャによって下記のような 操作ができる． • 移動操作: 移動させたい場所に向かってポインティング位置を移動させることで，ロ ボットはそのポインティング位置を追随するように移動する． • ジェスチャ操作: 一方のデバイスのポインティング線によって操作対象のロボットを 指すことでロボットを静止させ，他方のデバイスを動かすことで，コマンドを入力 し，ロボットに特定の動作をさせる．ジェスチャ操作の例を挙げる(図3)． ( a ) 回転: 一方のデバイスで円を描くようにポインティング線を反時計周り(時計周 り)に回転し続けることで，物体の水平方向に対して反時計回り(時計周り)に回 転し続ける．ロボットの向いている向きを反転させたい場合には，両方のポイン ティング線でロボットを指しながら，円描くようにしてデバイスの位置を入れ替 えるように動かす． ( b ) 撮影: スタンプを押すようにして一方のデバイスをロボットに近づける．ロボット a b c d 図 3 ジェスチャ入力 にカメラがついている場合，そのとき撮影している映像を静止画として保存する． ( c ) 偵察: 一方のポインティング線でロボットを指しながら，フリスビーを投げるよ うに他方のデバイスを動かす．ロボットは，特定の範囲を1周動く． ( d ) 緊急停止: この場合のみポインティング線をロボットに指さない．両方のデバイ スを上に向けることで，ロボットが何らかの制御をされていても，ロボットの操 作は停止する． ( 3 ) 操作の終了: ロボットを操作しているときに，2つのポインティング線を水平方向に 互いにに遠ざけることによって，ロボットの操作が終了する．
4.
プロトタイプ
図4に実装した把持型デバイスとロボットを示す．把持型デバイスは，カメラ，Wiiリモ コン，レーザポインタ，ハーフミラーから構成される．カメラは環境内やロボットに貼り付 けたマーカを検出してデバイスの位置や方向などの姿勢を推定するために用いる．Wiiリモ コンは，内臓されている3軸加速度センサを用いてジェスチャ認識を行う．レーザポインタ は，どこを指しているか把握できるように視覚フィードバックとして用いる．ハーフミラー は，カメラとレーザポインタの光軸を合わせることで，ユーザが指す位置と実際に計算され る位置を正確なものにするために用いた．制御するロボットにはMindstorms NXTを用い る．操作を行う環境とロボットには正方形マーカを多数配置する．このマーカは，デバイス のカメラがロボットの検出や，ロボットととの相対位置を推定するために用いる．この相対 位置を用いて，ポインティング線の方向を決定したり，マーカの軌跡によるジェスチャを認 識させる．ロボットを動かすためのジェスチャ入力は，この他にWiiリモコンの3軸加速 度センサも用いる．ロボット操作におけるシステム処理の流れを以下に示す(図5)．Wiiリモコン 光源 画像情報 レ ー ザ ポ イ ン タ カ メ ラ ハーフミラー Mindstorms マーカ 図 4 デバイス マーカ マーカ マーカ マーカ デバイスデバイスデバイスデバイス PCPCPCPC ロボットロボットロボットロボット 1. 1. 1. 1. 撮影撮影撮影撮影 2.2.2.2.デバイスデバイスデバイスデバイス情報情報情報情報 パラメータパラメータパラメータパラメータ3. 3. 3. 3. 操作操作操作操作 図 5 システム構成 ( 1 ) マーカの2次元位置の情報の取得:マーカを撮影し，マーカの2次元情報を取得する． ( 2 ) デバイス情報の送信: デバイス情報としてカメラに撮影された2次元情報と加速度セ ンサ値をPCに送信する． ( 3 ) ポインティング線，ジェスチャ認識の計算，操作コマンドの送信: カメラが得たマー カの2次元座標からカメラに対するマーカの3次元位置と方向や操作環境に対する カメラの3次元位置と方向を2つのカメラについて求め，ポインティング線を決定 する．PCが識別した操作コマンドをロボットに送信する． 4.1 3次元ポインティング 3次元ポインティングは2つのポインティング線の交点とした．しかし，実際は3次元空 間において交点ができるようにポインティング線を動かすことは難しい．そこで，2つのポ インティング線の最近点の座標をそれぞれ求め，その中点の座標を3次元ポインティングの 位置とした．2つのデバイスの位置や方向などの姿勢は環境に配置されたマーカとの相対位 置によって計測できる．配置されたそれぞれのマーカには操作環境での座標系に対する絶対 座標を与えておく．カメラが複数のマーカを認識したときに，それぞれのマーカに対するカ メラの位置ベクトルと方向ベクトルが計算される．それぞれのマーカに対するカメラの位置 と方向は，操作環境の座標系と対応するように変換する．得られた操作環境の座標系におけ ロボット選択 両方のデバイスが マーカを指す ロボットを 回転させる 量の決定 どちらかの デバイスが マーカを指す ジェスチャ 認識 対応する 制御を実⾏ 静止 (ループ) 静止 (ループ) 静止 (ループ) 静止 (ループ) ループ 両方のデバイスを 上に向ける (ジェスチャ) 緊急停止 両方のデバイスを 水平方向に遠ざける 操作の終了 ロボット 回転 ロボット 移動 ロボットの 移動操作 no yes no yes yes yes yes no no 図 6 操作の流れ る複数のカメラの位置と方向の座標の外れ値を除き，平均化することで，それぞれのデバイ スの位置と方向を決定する．決定されたデバイスの位置と方向から，2直線の最近点座標を それぞれ求める．最近点は人間の目で交差していないように見えるときでも計算されるた め，2直線の距離が一定の値より小さいときのみ求めることとする．この数値は予備実験を した結果をもとに，20cm以内とした． 4.2 ロボット操作 選択されたロボットは移動操作とジェスチャによる操作を行う．ロボット操作におけるフ ローチャートを図6に示す．ロボットの移動操作は2つのデバイスの動かす方向で決まる． この2つのデバイスのカメラで撮影されたときのロボットのマーカの位置によってカメラの 光軸からロボットのある方向から求める．ロボットはカメラの光軸に近づくにように制御を
x z y 原点
(
0,0,0)
y x 図 7 評価環境 行うことで追従させる．ジェスチャ操作はどちらか一方のデバイスがロボットを指している ときに行う．デバイスを横に振るなど，素早い動きやデバイスの姿勢に依存するジェスチャ に対しては3軸加速度センサを利用し，腕を回し続けるなど，ゆっくりした動きに対して は，カメラ画像から得るマーカの軌跡を利用することとした．5.
評
価
5.1 ポインティングに関する評価 提案インタフェースの3次元ポインティングに関する評価を行った．評価環境として，図 7のような評価環境においてポインティングするオブジェクトである風船27個を配置した． 常時マーカを認識できるように，マーカを24個同じ平面上に設置し，この平面を評価環境 の座標系におけるz = 0平面とする．まず，被験者にインタフェースの使用方法と評価方法 について説明した．評価方法としては，PCのディスプレイにポインティングするべき風船 をランダムに指示する．指示された風船を1.5秒間ポインティングすると，次のポインティ ングするべき風船をランダムに指示する．今回は3次元ポインティングの評価を効果的に するため，zの値は常に変化するように設定した．これを5回を1セットとし，3セット繰 り返したときの平均ポインティング時間を測定した．被験者は22∼25歳の男性であり，こ れを7日間繰り返すことで，習熟度合を評価した．なお，参考データが必要なため比較対 象として，デバイス1つのみを用いて3次元ポインティングを行う手法を実装した．比較 手法ではz軸の変化がレーザポインタのみでは確認できないため，両手法においてPCの ディスプレイには現在のポインティング位置を表示した．デバイス1つの場合は，評価環境 0 2 4 6 8 10 12 14 16 1 2 3 4 5 6 7 平 均 時 間 [s ec ] 回数 A B C D E 図 8 デバイス 1 つの場合 0 10 20 30 40 50 60 1 2 3 4 5 6 7 平 均 時 間 [s ec ] 回数 A B C D E 図 9 デバイス 2 つの場合 の座標系においてカメラでx− y平面の座標を決定し，Wiiリモコンの十字キーの上下ボタ ンを利用し，ボタンを1回押すごとにz軸に対して±10cm変更できるものとした． 評価結果を図8，9に示す．グラフの縦軸は，被験者が1日につき15回ポインティング をしたときの1回当たりの平均時間，横軸は日数である．結果から，個人差はあるがどちら のインタフェースでもある程度の習熟が見られた．しかし，それぞれのインタフェースを比 較すると，デバイス1つの場合の方がどの被験者も1回目から速くポインティングができ る．これは，以下に挙げる2つの理由が考えられる．1つ目は視覚フィードバックの情報が 不十分だという理由である．デバイス2つの場合は，2つのレーザポインタの光が同時に見 ることができない場合がある．目標の風船が被験者に近い風船に対しては，両方のレーザポ インタが当たり，被験者も同時に見ることができるため，容易にポインティングできるが， 目標の風船が遠くにある場合は，両方のレーザポインタを当てようとすると，その前にあ る風船が邪魔になるため，2つを同時に確認することができないときがあった．ポインティ ングの速い被験者は奥の風船を指すときに手前の風船にレーザポインタの光が当たっても， そのあとのポインティング線をイメージし，そのイメージが目標の奥の風船を指すことで きていた．2つ目の理由は，被験者にとって風船が遠くなるほど，風船を指したときにz軸 方向の値の変化が大きくなることである．奥行きの値は被験者の腕の動かし具合に依存し， 腕をよく動かす被験者はポインティングが遅くなった．このように，評価結果としてデバイ ス1つのみを用いた場合の方がよくなったが，デバイス1つの場合は画面に表示される数字と目標となる風船の座標を見ながらポインタを合わせているため，実環境で用いること を想定した場合，頭部装着型ディスプレイ等を用いて数字の提示をする必要がある．一方， 提案手法はそのようなディスプレイが存在していなくても視覚のみによりポインティングが 行える．上記に挙げた提案手法の問題点の解決策として，レーザポインタの光路を可視化 する手法4)が挙げられる．レーザポインタの光路を可視化し，実際にポインティング線を ユーザに提示することで，より正確ですばやいポインティングが可能であると考えられる． また，ジェスチャによる操作を増やし，遠くにあるオブジェクトはポインティングの位置を 追従しないでも，ジェスチャのみで操作をすることが必要である．これは，今後の課題とし て取り組みたい． 5.2 ロボット操作に関する評価 22∼25歳の男性8人にプロトタイプを操作してもらいアンケートに回答してもらった． 比較対象として，Wiiリモコンの十字キーを用いてロボット視点で制御をするインタフェー スの実装を行った．まずインタフェースの説明を被験者にし，筆者のロボットを操作する姿 を見てもらったあとに，簡単なタスクをしてもらい回答してもらった．最後に自由に感想を 述べてもらった． 評価結果を表1に示す．それぞれのインタフェースでの操作性についてはそれほど変わら なかった．被験者のコメントでは，レーザポインタの軌跡をロボットが追従することは直観 的であるというコメントあった．しかし，床を追従するロボットに対する操作ではデバイス を1つでもできるのではないかというコメントがあった．これは自律飛行型ロボットでの操 作の実現することで，提案インタフェースが3次元ポインティングで操作できることを強調 しなければならない．デバイスが1つのときは，ユーザとロボットの向いている方向が逆の ときに操作することに違和感がある人がいた．これは提案手法の直観性で解消できる．デバ イスを2つ持つことによる違和感を感じる被験者も少なかったため，視覚フィードバックの 情報を増やすことで、ユーザにとってより使いやすいインタフェースになると考えられる． ジェスチャに関しては，手を大きく動かすことでロボットを操作しているというイメージを 持てるため操作と関連付けしやすいという被験者もいた．ジェスチャを増やすと面白くなる という意見もあった．
6.
まとめと今後の課題
本稿では，2つの把持型デバイスを用いたロボット操作手法を提案した．さらに，提案手 法のプロトタイプを実装し，従来の手法と比べて提案手法の方が直観的に操作できること 表 1 操作に関する評価の結果 評価項目 平均スコア 標準偏差 デバイス 2 つは操作しやすい 3.62 1.11 デバイス 1 つは操作しやすい 3.62 0.85 ジェスチャ操作は有効である 3.67 0.92 2つ持つことに違和感がある 3.75 0.82 を確認した．3次元ポインティングの評価から，ユーザへの視覚フィードバックとして今回 用いたレーザポインタとしての視覚情報が足りず，レーザポインタの光路を示すような視覚 フィードバックを考慮する必要があることが分かった． 今後の課題としては，デバイスをより小型化し，ユーザの指に装着できるものの作成や， 視覚フィードバック情報の提示をシステムに加えることが挙げられる．また，本研究のプロ トタイプでは，地面を移動するロボットの操作を対象としていたが，提案手法は3次元空間 上での自由の機器操作に対応している．したがって，自律飛行のできるロボットなど3次元 空間上を移動するロボットを，実際に操作できるシステムの構築を行うことも今後の課題で ある． 謝辞 本研究の一部は，科学技術振興機構戦略的創造研究推進事業(さきがけ)および文 部科学省科学研究費補助金基盤研究(A)(20240009)，特定領域研究(21013034)によるもの である．ここに記して謝意を表す．参 考 文 献
1) Hosoi, K. and Sugimoto, M.: Shepherd: An Interface for Overcoming Reference Frame Transformations in Robot Control, Proc. of IEEE ROBIO2006, pp.908–913 (2006).
2) Guo, C. and Sharlin, E.: Exploring the Use of Tangible User Interfaces for Human-Robot Interaction: A Comparative Study, Proc. of the 27th International
Confer-ence on Human Factors in Computing Systems (CHI2008), pp.121–130, (2008).
3) Grossman, T. and Balakrishnan, R.: The Design and Evaluation of Selection Tech-niques for 3D Volumetric Displays, Proc. of the 19th Annual ACM Symposium on
User Interface Software and Technology (UIST2006), pp.3–12 (2006).
4) 岡本 周,酒田 親,西田正吾:光路を可視化したレーザポインタを用いた遠隔協調作業 用小型端末,日本バーチャルリアリティ学会第13回大会抄録集, pp.276–279 (2008).
