マルチエージェント空間における人と機械の協調作業法 一視的対話による手渡し作業
（平成11年12月3日 原稿受付）
設計生産工学専攻 井上文克 設計生産エ学科 白村真悟
制御工学教室 金 亨愛
缶蜘工学教室 石川聖二
Man−Machine Cooperadon in a Multi−Agent Space
−O句ects DeUvery by Visual Co㎜unicadon
by Fum㎞tsu INOUE Shingo SH㎜RA
Hy（》ung Seop KEM Se勾i ISHKAWA
SYNOPSIS
Anew◎oncept of a m1オtじagent system is pmposed血this paper㎞v血ch even a static o句ect lakes the role of an agent by recog虚血g i田o㎜si㎞Uon and bmad紬ng iお忙（lues徳． It is e）Ψ硫d tl田t i漁加r￠acom叫er wiU be㎜吻t㎜㎡血也e品㎜of
・・m・U鋤d㎜・輌1止eab痴・・de鋤唖s㈱・e…欝・T姐嚇1・・f・・m坤r杣be a甑ch硫・e町md耶翻P鋤・ち
which may res司t祖swh a mult臼ge斑sys缶m as pmposed斑也e p苦ese琉paPe￡Acase s磁dy is desc亘bed w伍ch shows a
㎜一雄chi口e visl砲1 c◎1斑n頑ca疽o簸sy§民m食）τeldξ字◎r hand輌capped pe《）p1￠who簸eed h￠lp to tak》㎜g§愈◎m a table． Rd￠◎f a§ta柱c
◎句ect age磁mth§system輌s＆h◎wn鋤d従s s輌9垣fic紐c￠輌s discussed as well as the p磁fb㎜ance◎f也e e琉抵system．
1・序論 群ロボットにおいて、個々のロボットをエージェントとす
人の生活一の。ポットの貢献その腰齢ますま撞 る考崩ま・センサとエフェクタを徹た能動型・ポットに 視されている．工場での生産活動や描海洋など極限状況で は撚である㈱・本来工一ジェントとは環境への倉働性を のロボットの利用から、昨今は、人の生活を多面的に補助す 備えていることが前提とされるからである⑥・しかしながら本 るという役割がロボットに期待され、そのような利用法が研 研究では・機構的に明確な能動性を持たない物体もエージェ 究開発されている①②。 ントとして捉えるという立場を取る。作業空間内の全ての物 従来のロボットは、単体であることが「般であり、そのさ をエージェントと見なし・そのような状況で・問題解決のた
まざまな機能向上が研究開発の中心であった。近年は群ロボ めに何が利点となるのかを・ケーススタディを通して検討す ットの研梁）が盛んになり、一例として、サッか。ポット群 る・捉職術帳足の進麹まさらに続き・嫉・・哩で騨 の研究鋤が活発に行われている。単体ロボットではなく、群ロ に着脱できるセンサ付きのCPU（例えばバーコードフィルム ボットという構成の本質は、人社会の活動のように、複数の のようなもの）が・あらゆる生産物に装着される時代が来る 個体が協力して問題の解決を図るという点にある。単体から かもしれない・このとき・それらの生産物は・自己に関する
群化一の鮪の利鯨蹴分散による臓翠決効率の向」二 繍をcpuに蓄え・またセンサによって醐の状況に関す 耐鵬性・柔軟性・拡張鱒の向上などが挙げられる．本研 る繍を獲得C・ポットのよう端酬齢持たなくとも・
究では、特に前者に注目する。 照会されれば自己および周囲の情報を提供するという機能を
持つようになるであろう。このような形で、作業空間内の全 って検出し、該当すると思われる物体の位置をマニピュ ての物体がエージェント化できると考えられる。 レーションエージェントに知らせる。
以上の視点に立って、本稿では、高齢者・障害者等への補 3）マニピュレーションエージェントはその先端を当該の物 助を想定したシステムを構築することによって、能動物体・ 体工一ジェントの近傍に移動させる。
受動物体および人からなるマルチエージェントシステムを示 4）人はその物体が希望するものなら手のひらを広げる。希 し、その機能と発展性について検討する。本稿で示すシステ 望するものでなければ手のひらを閉じる。
ムは、ビジョンエージェントおよびマニピュレーションエー 5）ビジョンエージェントは人の手の形を認識する。開いて ジェントからなるシステムが、人の要求する物体を認識・把 いれば8）へ。
捉し、その人に手渡すという機能を持つ。同様のシステムの 6）ビジョンエージェントは手先の方向にある別の物体の位 構築例は他にも見られる（東京大学先端技術研究センター②） 置をマニピュレーションエージェントに知らせる。物体 が、本システムは、受動物体をエージェントに含むマルチエ がなければ終了。
一ジェントシステムという視点に立っており、発展性が大き 7）3）へ。
い。 8）ビジョンエージェントはマニピュレーションエージェン 以下、2節では本システムの構成を詳述し、3節では人と トに把捉要求信号を送る。
システムの間の視的コミュニケーションの方法を示す。4節 9）マニピュレーションエージェントは当該物体を把捉・運 では実験およびその結果を通してシステムの動作・性能にっ 搬して、人の手のひらに載せる。
いて述べ、5節で本システムの機能と今後の発展性について 10）他のエージェントからリクエストがなければ終了。
考察する・ 上の珊中、物体もエ＿ジェント化されており、センサに
2・システムの構成 ㌶；㌶票蕊：驚㌶麟鷲
本稿で提案するマルチエージェントシステムは、先に述べ 復帰を要求する。この機能により、マニピュレーションエー たように、基本的に対象空間の全物体をエージェントと見な ジェントによる把捉中の落下、マニピュレーションエージェ す。従来のマルチエージェントシステムとの違いは、受動物 ントや移動ロボット等の衝突による転倒等を自分で検出・知 体もエージェントと見なす点である。このことによるシステ 覚し、安定状態への復帰を要求する。
ム全体の柔軟性と発展1生を、ケーススタディによって示す。
定竺㌶㌶：灘蕊爲㌶ 口PCI□pcn
マルチエージェントシステムを示す。同システムは、ビジョ ンエージェント、マニピュレーションエージェント、人工一 ジェント（人もエージェントとみなせる）、物体工一ジェント からなる。前3者が協力して物体工一ジェントの手渡しを行
う。システムの構成を図一1に示す。同図で、ビジョンエー@ 鶏
ジェントはCCDカメラとPCI、マニピュレーシ・ンエージ 纐
エントはマニピュレータおよびコントローラとP（｝IIである・ CCD camera ぽ
これらのエージェン欄は賠232Cインタフェースを介し ∵ Cこn廿。ller
て結合している。物体工一ジェントは衝撃に対して赤外線を
ない限り、人および物体と曝 ・句ect
以下に本システムの作業手順を示先 ma㎡pul劔・r
1）寝たきりの人が、机上の取りたい物体を指し示す。
2）ビジョンエージェントが人の手先の方向を画像処理によ 図一1 システムの構成
3．人工一ジェントの意図の理解
エージェント間の対話は、人と機械の対話を含む。寝たき りの人にとって容易な指示動作は、音声または手腕が自然と 思われる。本システムでは手腕のみによる指示を取り上げ、
手腕による機械への指示を、ビジョンエージェントが画像処 理によって理解する。
鍼 指示方向の認識
ビジョンエージェントは人が指し示す手腕の方向を検出し
て、人が要求する物と思われる机上の物体の位置をマニピ （a） （b）
ユレーションエージェントに通知する。以下に手順を示す。
、 図一3要求物体の確認：（9）YES一複雑駄（b）N（ト複 1）ビジョンエージェントのカメラ部で獲得した画像1に微
雑度小．
分、2値化、膨張・収縮処理を行う。
2）画像∫に含まれる手部分のエッジ上で黒画素追跡を行い、
4）点Pl。を含む指の方向を、点君。の両側の、平行な2つの
酬の開始竺から終点までの座標醐≡巳（戸 エッジ噸きから求輪そ噸きを持⊇聴通る
0，1，2，，．．，〃）を記憶する。
直線Lを求める。
3）1≦」≦パの範囲疎聴醐鯨ひおよび醐 5）鹸昆枇の物体の動との臓を就最も購の 継竺の臓の和が＿＿ 小さ働を人礪対る物体とみ紅その位置をマニ 瑠鴫η一1鰹1嬬司瑠 ピュレーシ・ンエージェントに鞠する．
を満たすような点みを指先とする。 ． 以上の処理手順を図一2に示す。
（a） （b）
B
A
Ca2 手先開閉の認識
要求物体の選定を行った結果が必ずしも人が要求する物 体とは限らない。そこで、ビジョンエージェントが選定した 物体に対してマニピュレータがアクセスを行い、それが正し いかどうかの判断を人が行う。人はYESなら手を開き、 NO なら手を握る。ビジョンエージェントが、そのどちらである かを画像処理を用いて判断する。
画像1の前処理の結果、図一3に示す手の形状力鴻られる。
形の複雑さの程度を表す擶票Cを用いてこの2種類の形状を 区別する。図形の周囲長をP、面積をメで表せば、複雑度C は次式で与えられる。
C＝P2／4π4．
これは、物体が円に近いとき最も小さくなり（C→1）、物体 形状が複雑になるほど大きな値をとる性質がある。Cの値に 閾値を設けることによって、YESまたはNOを判断する。
ω ⑥ またこのとき人の手のひらの動噸（2次元座標）を
求めておき、マニピュレータが人の手まで物体を運ぶときの 図一2要求物体の選定：（a）黒画素の追跡・⑥指先の検 位置情報として用いる。
出，（c）指の方向の決定，（d）要求物体の認識
4．実験と結果
4．1実験環境
本実験の環境を図一4に示す。中央の机の上に、マニピュ レーションエージェントの…部であるマニピュレータを置く。
上方にビジョンエージェントの一部であるビデオカメラを固 定する。本来このカメラは可動で、天井面を巡回行動するこ とを予定しているが、本実験では簡単のために固定している。
机上には図一5に示す6種類の物体を置く。先述のよっに、
これらの物体も皆工一ジェントであることを想定しているが、
本実験では簡単のため、同図（f）の箱のみに、衝撃センサ および超音波発信機を装着して、物体工一ジェントとしての 機能を持たせている。この物体工一ジェントは、衝撃が加わ ると自分自身に異常が生じたとして、原状態への復帰を要求 する超音波信号を発生する。マニピュレータの先端部に装着 した超音波センサがこれを検出することによって、物体工一 シェントの異常を検出する。
人の要求する物体が何であるかを認識するために、各物体
、 戸 （a） （b）
（c） （d）
蓄えておく。表一1にそのデータを示す。
ニピュレータのル座標系との関係も、あらかじめ求めておく。
これらの関係は最小2乗近似より X＝3．39x−506．82 γ＝−3．14γ＋560．81
110
（e） （f）
で与えられる。
図一5 物体工一ジェント：（a）飲料水缶、（b）ハンドタオル、
（c）ペンシル、（d）たばこの箱、（e）瓶、（f）箱．
∨ 争
○
video camera
高≠獅奄垂浮撃≠狽盾
0．78m
2．2
。 ．ノ、 劉 ぷノ逼
図一4 実験環境
表一1 物体の周囲長と複雑度
周囲長
撒
ペ ン シ ル 97．27 30．91
ハンドタオル 198．07 16．71 飲 料 水 缶 78．91 14．73 た ばこ の箱 103．29 16．82
瓶 70．17 13．94
箱（センサ付き） 132．10 18．48
．ウU灘
鋼は物体が シェントとしての儲IJを特に持たな
@ ノ
・s?@ 黛
い場合である。人の要求する物体を初めは正しく発見できず、 儀 再度の作業で正しい物体を人の手に載せるという流れである。
実験に使用した物体は、ペンシル、ハンドタオル、コーヒー、
季…
！
たばこ、箱である。これらの物体の配置は図一6に示すとお 図一7 物体の要求
りである。
表一3 物体と指示直線との距離
A B C D E
距離 124．62 87．16 43．73 11．28 22．14
マニピュレータは候補物体にアクセスし、要求物体の確認 を行う。候補物体が要求物体と異なるので、人は手を握る（図 一8参照）。このとき手形状の複雑度16，08（〈241）という 結果から、ビジョンエージェントは人の手は握られている
（NO）と半1」断する。
図一6 初期の物体配置 ビジョンエージェントは表一3より、次候補物体がEの飲 料水缶であると判断し、マニピュレータに物体の種類および それぞれの物体の特徴量を・ビジョンエージェントが獲得 姿勢を通知する。マニピュレータはこの通知に従い次候補物 する画像から求める・表一2にその結果を示す・ 体にアクセスする。
人が物体を要求する（図一7参照）。それぞれの物体との距 離を表一3に示す。表一3より候補物体はDとみなされる。
さらに表一1と表一3の比較により、物体Dは たばこ と 認識される。
表一2 物体の特徴量
重〔♪x座標 重［♪γ座標 周囲長
撒
姿勢A 41．06 70．01 139．50 18．29 170．69
B 81．89 103．29 100．87 30．74 10．64
C 39．70 147．14 201．04 16．54 26．31
D 64．06 195．40 101．84 16．44 161．80
E 24．92 215．47 82．40 15．29 57．71
図一8 要求物体の確認（NO）
重［♪x座標 重［♪γ座標
225．22 100．62
徽
30．65表一4 人の手の情報 今度は、候補物体が要求物体であるので人は手を開く（図 一9参照）。手の位置1青報を表一4に示す。同表に示す複雑度 30．65（＞24．1）より、人の手は開かれている（YES）と認識 される。
マニピュレータが人の手まで物体を運ぶ。物体把捉の様子 を図一10に、手まで運んでいる様子を図一11に示す。
4．2．2 鐡II
実験IIでは、アクシデントが発生し、物体工一ジェントが 積極的な役割を担う場合である。マニピュレータが把捉した 物体が、他の物体に衝突してそれを転倒させ、物体自身も落 下するという状況での作業である。実験に使用した物体は、
瓶と箱の2つである。状況設定として次のケースを想定する。
・箱を搬送中に落下 ・瓶の不必要な移動（転倒）
要求物体は箱なので、落下した箱を再び把捉し、人の手ま で運ぶ次に、瓶が不必要に移動したのでもとの位置に戻す。
図一9 要求物体の確認（YES） ただし、瓶は衝撃センサおよび通信機能を装着していないの で、瓶も衝撃を検出し何らかの要求信号を発したものと仮定 して、ビジョンエージェントがその異常を認識する。
本実験の作業の様子を図一12に示す。同図に従って、以 下に作業内容を述べる。
（a）初期状態。
（b）人が箱を要求。
（b〜c）ビジョンエージェントは人の手先の画像処理により、
要求が箱であることを判断し、その位置をマニピュレー ションエージェントに通知。
（c） マニピュレータが確認のため箱に接近』ビジョンエージ ェントは人の手先の形状を認識，手が開いていることか 図一10 物体の把持 ら（複雑度大）YESと判断』
（d）マニピュレータが箱を把捉。ビジョンエージェントはマ ニピュレーションエージェントに手の位置を通知。手は 同じ位置で静止。
（e） 搬送中に箱が瓶に衝突し、瓶は翰到。瓶は衝撃を検知し て原状復帰要求信号を発信（仮定）。マニピュレーショ ンエージェントがこれを受信して、ビジョンエージェン トに通知（仮定）。（これらの仮定部は実験者が担当す
る。）
（θ 箱も落下。箱は衝撃を検知して原状復1尉言号を発信（超 音波信号）。マニピュレーションエージェントが受信し て、ビジョンエージェントに通知、同時にマニピュレー 図一11 物体の運搬 ションエージェントは搬送作業を中止。
（a） （b） （c）
（d） （e） （0
② （h） ω
0） （k） ①
（m） （n） （0）
図一12 実験II一物体工一ジェントの働き
㎏）マニピュレータは所定の位置に移動。この間、ビジョン が期待される。これをあらゆる工場生産品に貼付する時代が エージェントは瓶と箱の位置を検出。 来るかもしれない。
（g〜扮 ビジョンエージェントはマニピュレーションエージ 静止物体をエージェント化する利点は、主として物体ごと エントに箱の位置を通知。 の自己管理にある。自己の名称・用途・履歴・寿命・安定姿
（h）マニピュレータは箱ヘアクセス。 勢等に関する情報の保持の他、センサによる自己の内的異常
① 箱の把捉。 事態の診断や、外的異常事態の検知（衝撃や転倒）等が可能 Φ 人の手まで搬送して置く。 になる。前者では、他のエージェントからの問い合わせに応 0∋マニピュレータは所定の位置に移動。 答できる機構を備えれば、自己の名称等を回答できるため、
（k〜D ビジョンエージェントはマニピュレーションエージ 物体のパターン識皮術は、少なくとも工場生産品には不要 エントに瓶の現在位置と原位置を通知。 になる。一方、後者は自己保存機能であるが、エフェクタを
（1）マ灘ピュレータは瓶ヘアクセス。 持つ他の能動的工一ジェントの助けを借りてそれを実現する。
（m）瓶の把捉b 能動的工一ジェントは、要求があれば静的工一ジェントの手
（n）原位置へ瓶を移動。 助けをし、あとは別の作業に従事できるため、効率的なマル
（o）瓶を置いて終了。 チエージェントシステムが実現できると思われる。
以上の作業で本システムは、作業対象となる物体が何であ
6．結論 るかを、表一1を用いて常に認識している。
センサとエフェクタを持つ能動的物体と、エフェクタを持
5．考察 たない静的物体からなるマルチエージェントシステムを提案
牒空間内のすべての桝本をエ＿ジェントとするマ，げエ L人磯鯨の視齢ミュニケー泊ンを用いた手渡し作
＿ジェントシステムを提案し、人＿機械系の視的コミュニケ 業のケーススタディによって・静的物体のエージェント化の
＿ションを用いた手渡し作業のケ＿ススタディによって、静 意義を示した・主な禾1庶は自己管理機能と自己保存機能であ る。静的物体工一ジェントの実現には、センサ付きCPUシ 的物体をエージェント化することの有効1生を示した。実験は
鞠化されている賦本質跡さ楓・る．マニピュレ＿シ ヲレのような鎚の出現カミ腰と思われる惑紬嚇工一
ジェントの導入は、より効率的なマルチエージェントシステ ヨンエージェントを複数にすれば、箱の搬送と搬送中に転倒
した瓶に対する鯉など並列撒的牒がもっと明快躍 ムの期をもたらすものと思われる・
察されるであろう。
画像処理を用いた視的コミュニケーションも、比較的簡単
参考文献 な画像処理のわりに効果が大きかった。理想に近い照明・背
景条件のためでもあるが、これらの条件を緩和し手形状のバ ①特集璃療福祉とロボティクス，日本ロボット学会誌14，
リエーションにも頑健な画像処理手法を、今後開発する予定 5（1996）
（2）特集一人間共存型ロボット，日本ロボット学会誌，杭
である。
3◎998）．
本法では、マニピュレータが物体を把捉する場合の物体の
（3）Drogoul， A，㎞be， M， FUkud亀T（Eds）：CoUecUve Robo cs，
高さ情報は既知としている。そのため机上の2次元位置の送 Sp面ge埠gg8）
受のみで作業を行っている。これも一般化するために、マニ ④特集一マルチエージェントロボットシステム，日本ロボ ピュレータの先端にCCDカメラを装着したハンドアイシス ット学会誌，10，4（1992）．
テムを現在製作している。このシステムを用いて、物体の3 （5）特集一ネットワーク型ロボットシステム，日本ロボット
次元探索および齪法を考案する予定であ在 学会誌1乏6＠9埠
（6）沼岡，大沢，長尾：マルチエージェントシステム，共立出 エフェクタを持たない静止物体をエージェント化する手段
版（1998），
としては、センサ付き微小CPUの貼付が考えられる。半導 体技術の進歩によって、シール型のセンサ付きCPUの実現
