九州大学学術情報リポジトリ

(1)

九州大学学術情報リポジトリ

Kyushu University Institutional Repository

ロボットハンドを用いた物体操作における操作対象のセンシングに関する研究

本田, 久平

九州大学システム情報知能システム工学

https://doi.org/10.11501/3180412

出版情報：Kyushu University, 2000, 博士（工学）, 課程博士バージョン：

権利関係：

(2)

(3)

ロボットハンドを用いた物体操作における操作対象のセンシングに関する研究

2001年2月

本田久、11

(4)

同口次

第1章序論

l.1 本研究の7!?;jfと経科

l.2 本研究の11(10

l.3 本論文の情成

ti -- にυ 戸り

第2章物体操作システム

2.1 ノ\ンドによる物体J栄作

2.2 '1以がり接触による物体1*fl:

7 7 8

2.3 センシング • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • ⁹

2.3.1 転がり接触による物体操作のためのセンシング • • • • • • • • ⁹

2.3.2 作業エラーに頑健な物体操作システムのためのセンシング .. 11

2.3.3 センシングシステムの十葺成. • • • • • • • • • • • • • • • • • • • ¹¹

2.4 ハードウェア構成 • • • • • • • • • • • • • • • • • • • • • • • • • • • ¹³

2.4.1 ハンド機構 • • • • • • • • • • • • • • • • • • • • • • • ¹³

2.4.2 センサ仕様 15

2.4.3 全体構成 • • • • • • • • • • • • • • • • • • • • ¹⁶

第3章 3次元視覚処理 17

3.1 はじめに . • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • ¹⁷

3.2 3次元計測 • • • • • • • • • • • • • • • • • • • • • • • ¹⁸

3.2.1 カメラモデル . • • • • • • • • • • • • • • • • • • • • • • • • • • ¹⁸

3.2.2 ステレオ視 • • • • • • • • • • • • • • • • • • • • • • • • • • • • ¹⁹

3.3 注視点のステレオ追跡 . • • • • • • • • • • • • • • • • • • • • • • • • • ²⁰

(5)

3.3.1 相関演す1に基づく追跡 3.3.2 マーカ追跡

3.3.3 テキスチャパターン投影による注視点生成 3.4 注視点管問

3.4.1 ��刈-応除去 3.4.2 注視点の選伊1 3.5 仰党によるf\/_�itl�姿勢Jlf1

3.5.1 _NrwtollY.よa

ハU 1ょっムつο っ、d AせにJU にυ

qu qu 1i っ。

「ο ハりウi oo qL つム qL っ“

っ“

つ山つん η，ムつL qL qL っ、υ

?--u

qu qu っ、U つd qJ

352 45YMlf(分W(:

3.6 )0投

3.6.1 ハードウJア付加ぷ.

3.6.2 キャリブレーションネIli米

3.63 13れに対する，):;験1 (マーカ追跡) 3.64 13れに付する'た験2 (マーカ追跡)

3.6.5 I�J，れに対する')ミ験₃ (ノfターン投μにおけるよGJ亦) 3.6. 6 I�:r，れに対する実験4 (ノマターン投彩におけるよG跡) 3.6.7 処JIjl!l.jU\J

3.7 まとめ

第4章センサ統合による対象の位置姿勢計測

4.1 はじめに

4.2 センサ統令による位置姿勢計算 4.2.1 接触党による計測 . 4.2.2 距離党による計測 4.2.3 センサ統介による計測 4.2.4 _Ncwton法 .

4.3 実験

40

4.3.1 キャリプレーション結果

ハU ハu nu -- η-L AせにU 円b A斗A A斗ム A斗A A吐 A斗A A斗A Aせ Aせ

111

(6)

4.3.2 隠れがない状況での計測:誤差評価 ₄₇

4.3.3 隠れのある状況での，�1-測:誤差評価 . ₄₈

4.3.4 隠れのある状況での計測:移動物体追跡 ₄₉

4.3.5 距離党_デー_タとの統介による計測 50

4.3.6 処l'M n.J fm 52

4.4 まとめ 52

第5章滑りの検出と計測

53

5.1 はじめに 53

5.2 d'J'り検n'，)Jßに 54

5.2.1 )J�[ Jflt 54

5.2.2 J長削!}，'，(におけるLIïよがりの辺助学とd'fり速度 54

5.2.3 I�ぞJ宗とi'，'rり ⁵⁵

5.2.4 d'J'り検n'lの完投: 58

5.3 十17り検i'1'1実験 ₅₉

5.3.1 'ぷ!倹1 :十17りが， 1-:.じにくい操作の場介 59

5.3.2 実験2 : �i'fりが'1:_じやすい操作の場介 ⁶²

5.3.3 ，�� ;�� ，1' I�イfIlí 64

5.4 まとめ _店4

第6章組立作業における作業エラー検出

6.1 はじめに .

6.2 動作プリミティブ 6.3 作業エラーH_、?の，il'測

6.3.1 傾き計測による作業エラー検出 6.3.2 傾き計測による作業エラー検出実験 6.3.3 滑り検出実験

6.4 滑り計測値をJI1いた作業エラー検出とリカバリ

65

にJU ハhv o月u

nku -- 円b ハb ハb nb ρb pO ウi ウi

lY

(7)

6.4.1 作業エラー検出とリカバリの実験その1

6.4.2 作業エラー検，Y'，とリカバリの実験その2

6.5 まとめ

ハb ウi oo 門i ウi ヴi

第7章結論

79

謝百字

₈₁

参考文献

₈₂

イサS表Aカメラ/てラメータのキャリブレーション

₈₈

(8)

第l章序論

1.1

本研究の背景と経緯

今11，ロボットは I�場で多数j41.人され，人11\jを訂i時なジj-働から解放し， /1:_ }摂I�fll�の!'l動化と'I:_pj'jゾ1:のIÎ1J 1-_をソミ脱している. これらのロボットは作業川口ポットと|呼ばれ，終的された環境内でí� )fi�!の作業を11引Ji-も繰り返す以イ?には，その効県を発jílfする. ' )j， I �'下技術のj生以とlfJilli令イヒ社会のflJ米を1!?;itに，ロボットには， I j-:H í， i�� f仁川[ (-)jといった1�� IH� J�t J;�や， I災紛れけiI:，災'1j �: +，文U)Jといった人11\1 rl:会での�，fJ-�t'I�がHJH、?されている. このようなロボッ卜は， )' 11"1が行っているような級紙でk:1llかな千作業を代qiするためにも，そのハンド機構に人!日jのT のような柔11吹さ，日品川さ，および繊ネ111さを1rlHえておく必要がある. その要求を満たすハンド機付与として，さまざまな多|刻印多J行ハンドがIJHづ色されている.

多|羽節多指ハンドは，そのJ巴Jι払げ1:およびl汁訓IJに|見jして，現イ1:多くのロボyトに抗故されている、|乙行21行ハンドと比l絞すると，以ドのような特長をイj・する.

(1)采1飲なJ巴tS::、1Z1J'-2 1行ハンドは， )1�-1� (10に1�1手対象の、Iqilfliを扶み込むことしかできず，対象の形状変化に卜分�JI応できない. それに付し，多|見!日目多1\1ハンドでは，多数のJ行で包み込むように対象に接削!することができ，多線な物体を担保することができる. そのため，

実社会にイ子伝するj哀れやすい物体や彼維な物体を把持でき，作業のIIJI�が広がる. また，工場では対象に依存したハンドの交換が必裂なくなるため，多Md�L小店/1:， Î宅の(liIl)J化に適する.

(2)得月!なJ菜作:、IL行2指ハンドは，人L本(1<Jにハンド内で、のJ巴持対象の相対述到Jを許さず，

J巴持対象の6 I�山J支j主�)jはアームによりílllJ御される. 従って，アームの周同が狭|院であるi揚合や人間にJ妾近して作業している場介には，対象操作の実現に細心の注意を安する. それに付し，多|支!日目多1\1ハンドは，ハンド|付での転がしや，持ち十字えそ手の， t巴持対象のネ11対運動を計二す. そのため，アームによる但持刈-象の制住IJと児なり， Iよい全1mと大きなパワーを必安とせず，人間と共存する環境や狭|経な全問での作業に適する.

(3)繊細11な計測:予行21行ハンドは，ー骨文にハンドとアームの接続部分に)J覚センサを配

置する. これは，センサと対象との間にハンド白身が介入することになり，対象に印加される力を計測する|僚に誤去が混入するj点凶となる. また，ハンドは本質的に持ち杯えができないために，対象と嫁する庁I�分に触覚センサをJ5載しても，対象の局所的な形状しか獲得できない. それに対し，多関節多指ハンドでは， 1\1先端に力党センサを配置することにより，操

(9)

1.1. 本研究の7!?対と帝王粋 2

作対象に最後近して)Jとモーメントの計測が可能で， r.l1問に介花する質量が小さいため，繊キ111な)J 計測が期待できる. また，複数の指を動かすことにより，対象との多級な岐触を'具現でき，対象の形状怖阪を詳細lに獲得できる.

このように，多関節多指ハンドは，それrì休で采l駄なJ巴持，器用な操作および繊細なrn-測の機能を布する. これらの機能を実刻するため，さまざまな研究が行われてきた.

《多|児節多指ハンドによる物体の犯J三?と操作》

多l均節多ffîハンドの{i)f究開発は， 1960年頃から本格的に始まった[1]. 1960年代に，ベルグラードハンド(動ノjjた下)が1}f.J)Gされ， 111ドらによりナイロン糸駅動明の九本J行ハンドが開発された. 1070年代に人ると， SkilllH、rは多モードJ巴払;ノ\ンドをJ]日発し，摘み{í}Jfドとthiり助イ11:をソミ刻した. イヒ/)}らは，仰'1ゾH行ハンドを開発し，安定t�払;，コンブライアンス;lj!J静11などの概念を|リlらかにした. Okndnは，ワイヤ. ��此r吃立γ� �r'口η山、1??引'î:れ，:!可!店駅(旬i，1，

とJ、?ちf杯f干LえをソU3羽lした.

10�0イド代には， Salislmr\'らによるStéUlford-.JPLハンドやJ礼('ob出、11らによるUtah/1IIT ハンドがIJ日発された. これらのハンドは，人f/IJの予とIliJれ皮の1'1111皮をt.fち，出llJiJ:1巴J、?と J栄作をソミ脱した. この後， 1990 年代にわたって，，Vas代la-Hれ11(1. �よどハンド， 'iぐJIIノ\ンド，点え;ハンド， ETLハンド， ß孔1'1・けトHa11dなどのさまざまなハンドが|出発されている[2、�3]. また， 1980年代からJ山手や以イ11:に|刻するJlltl論(10{りf究が慌んに行われ， 1900年代からはì�にその J，[:'，川の研究が行われている.

多|閥均節多J指♂肯Hノハ\ンドによるJ犯巴J

いる. NgUYC'1l[4]は，すべての)j[nJに)jとモーメントが発牛.で、きるForcC' Clmmrc i巴J、?について考祭した. 全j乙ら[5]は指を仮:111バネとして， 4-rîと対象の問に摩擦がある場合について安定犯似の解析を行った. Kcnら[ß]は，的11二!空隙と桁の|羽町jトルクから定まる制限をJfJ v"線形

計IIIIÎ1l�によって指が11之もi竹りにくい|付)Jを求める手法を開発した. ，11村ら[7]は， '1;全ギを凡

込んだ摩燦条件ドで指先)Jの決定問題を非線形l汁jlùÎ問題に1íJおさせ最適内力を求めた. 占川ら[8]は，指先ノJを操りノ]と保ノJに分け， 1付)jを帰jJの問題として考察することを提案した.

多|掲節多指ハンドによる操作に関しては，指先と対象の接触点の移動が/主じないことを前提に， Liら[9]は|付)Jの閉ループ;IJ!J佐IJを合む制佐rJlilJを提案し， Nagaiら[10]はJ位ノJと操り)J に基づく制御)J .rにを提案した. ゾJ， I転がりや滑りによる筏触点移動を仮定した物体操作の研究も行われた. Kcrrら[6]は転がりにおける指先と対象との関係を微分ノ7程式として定式化した. この式を拡張し， Cole[ll]らはl伝がり技触を前提とした物体操作の動的制御則を従来した. 1laekawaら[12]は接触点を|門技求め，対象の幾何学形状に依存しない制維IJ則を提案した. 滑りによる物体操作に関しては， ßrockら[13]は滑りを実現するための運動学的，力学的拘束関係について考祭した. 鄭ら[14]は対象運動と指の滑り�動の制御の定式化を行い，

(10)

1.1 本研究の??呆と経緯 ₃

Il標軌道の実現口J能性について考察した.

《操作対象のセンシング》

多関節多指ハンドによる物体肥持や物体操作を実現するためには，対象のセンシング機能が要求される. 把持や操作に必要な情限として，指先と対象に印加される力，対象と指の接触l�の位置，対象と指先の間のj骨り，対象の位置姿勢などがある. それらの情報の制御系へのフィードパックは，不確実さを合む環境での抱持や操作の達成に不可欠である.

)Jとトルクを計測するセンサに関しては，指先第一戟月!の小型6軸)]党センサ[15. 16]が開発されている. また，ワイヤ!駆動刷ハンドの|均節トルクセンサとして仮)J;rJ:動J��トルクセンサ[17] がIJ/-J党されている.

J長í��1点検，111，のためのセンサや日LにWJしては， )Jj'tセンサを)IJしEる研プヒ[1;). 16. ^{18. 10.}

20. 21]と削!党センサを)]J \-)る{iJI:ブヒ[22. 2:t 24.]に大別される. Salí叶n川'[18]は， 1��!点でノJ 成分のみがら�).主されるハードフィンガコンタクトの場介について，ノ刈J党センサを干利リf川|リjしたJ彼兵削触u点‘，'，(日、，(検J山|ハJ，)j式をJ従泣1奈奈己ミ守した. '1、Sl討叩11りjかIII川1日川II

をJ求Kめた. Bi(・chiら ^[20.^21]は， 1兵矧角j山山!/リ6!1l

夕クトのj場必イ介子について， 1彼妥納角削触d山山U.'点1.\を4求ミめる/店jよ式にをも提2五系奈ミミ.した. /イ永kく11リlら [ド1G司lはひすず、みゲ一ジ式小fべ卯刷�llf刊�! �!

6'申制帆1判削仙|リ山1]ノ)J党センサを|山閃月泊l発し， 1彼妥矧内削触d山�U，しυU，人}，I，‘J1Ul1‘

d法j去;は，物休とのJ按兵刻矧f内触1制似d出!で、/竹生1:.じた削触tj党tf像象を利川する. I\lé叩1叩ckaれ川1羽wν肝VRマ引F九1ら [24]は，、|え刈(;1)\のJ行'j己を�ì�↑''1:体でイ午られた、1':J;R "設で、ッ目立;1が'1=，じるようにかぶせ，物体接触!正により宅ISj;tが消滅することを利

JIJしJ長削�}.I�をYt/戸(l�に倹11\した.

滑りの検IIU に関しては，さまざまなけ↑り党センサや千法が開発されている. 接触点移動を沼-りとみなして検HI，する手法としては， t日伝而に組み込まれたボールやローラの|口l転を測定しi汁り速度を求める下Û�[25、26]や，物体に投影されたレーザの反射光を吉!日IJしi骨り速度を求める手法[27]がある. また， LC fl1lJffrの共振周波数を利用して筏触点移動を検出するセンサ[28、29. 30]， îtì原定位の原則を川いたセンサ[31]，趨J?J.支の共鳴周波数によりJ妾触点移動を検出するセンサ[32J が開発されている. 滑りにともなう振動を検出するセンサとしては，

PVDF[33J，感fI:尊電'1''1:ゴ、ム[34]， J五í'l1ぷj'-[35]を用いて， Stick-Slip t辰動を検1111，するセンサが開発されている. また，接触)JとiirJ'り振動が検IljJ，IlJ能なセンサ[36]や， }fî先のゴム性突1包

�I)で生じる高周波微振動をj王電|旬分f-フィルムにより検山するセンサ[37、 38]が開発されている. )Jを計測しi骨りを検Ilnするセンサとしては，分布3軸)]覚センサ[39]や，ひずみゲー

ジを指先上に分散配置したセンサ[40]が開発されている. また，ー般的な)J覚センサで計測した接線力を用いて， Stick-Slip振動を検出する下法[41]も提案されている. 複数のセンサ情報を統合し滑りを検出する下法としては，力覚センサとマトリクス状触覚センサを併用した手法[42]が提案されている.

(11)

1.1. 本研究の背景と経緯 ⁴

対象の位置姿勢の計測に関しては，センサから獲得された局所情報と対象の形状モデルとのマッチングによる手法が大半を占める. 接触覚による手法では，対象モデ、ルと指配置から解釈木を求め，幾何学的拘束を用いて把握姿勢候補を探索する手法[43，44J が提案されている. 触覚センサによる手法では，対象の稜線や頂点などがセンサ上に描く幾何学的なパターンをモデ、ルとマッチングする手法[45，46， 47Jが提案されている. 力覚センサによる手法では，

多角形物体の頂点を外部環境と接触させ，その接触点位置を力覚センサで計測することにより，対象の位置姿勢を計測する手法[48Jが提案されている.

以上述べた手法は，指先や関節等のハンド内部に搭載されたセンサを用いている. 一方，

ハンド外部からの計測手法として，視覚センサを用いて対象の位置姿勢を計測する手法が提案されている[49，50， 51， 52， 53， 54， 55， 57J. これらの手法では，画像からエッジなどの特徴を抽出し，その特徴を対象のモデ、ノレとマッチングする. 視覚センサでは，作業環境も含めたグローバルな作業状況の認識も実現できる. 但し，一般のCCDカメラを用いた場合，計測サイクルは約33[msJの画像取得時間に制限される. これに対し， Namikiら[56，57Jは， 1 [msJ 間隔で画像取得が可能な高速ビジョンにより対象の位置を求め，アームとハンドによる高速な把握を実現している.

《物体操作のためのセンシングとその問題点》

本研究では，多関節多指ハンドによる物体操作を実現するためのセンシングシステムを開発する. ハンド制御系へフィードバックするため，高精度で信頼性のある計測結果を実時間で獲得することを目的とする. ここで対象とする物体操作は以下のような特徴がある.

- 対象の多様な動きを実現するために，対象とハンドとの接触は指先のみとする.

- 対象と指先の接触点移動を伴う.

- 対象と指は転がり接触に基づき制御される.

このような物体操作においては，環境との衝突や摩擦などの外乱の影響により，把握物体と指との間に滑りが生じ，把握状態の予測との誤差が生じる. 正確な把握状態を認識し目標操作を実現するためには，接触点位置の計測が不可欠である. 接触点の計測に関しては，力覚センサによる手法[20Jでは振動によるノイズが大きいという問題があり，触覚による手法 [24Jではセンサ自体が特殊で一般に入手困難であるという問題がある. さらに共通の欠点として，接触点が唯一点の場合に限られる. そこで，本研究では，視覚により対象の位置と姿勢を計測し，さらに関節角度に基づき計算された指先位置を用いて，接触点位置を求める.

(12)

1.2. 本研究の目的 ₅

視覚による計測では，狭隆環境や指自体によるオクルージョンのため，操作対象の位置と姿勢を実時間で正確に求めることが困難となりやすい. 従来の計測手法の多くは，このようなオクルージョン問題を考慮、しておらず，多指ハンドによる物体操作や組立などの狭隆環境での作業に適用できない. そこで，本研究では，

(1)操作対象は平面および2次曲面で構成され，その形状モデ、ルは与えられていること，さらに

(2)対象物体の概略の初期位置および姿勢は既知であること

を前提にして，狭隆環境や指によるオクルージョン対策をはかり，実時間性と精度とを両立させ，対象の位置姿勢を計測する手法を開発する. さらに，複数センサからの情報を統合することにより，計測の精度と安定性を向上させる.

また，滑り自体を検出すれば，より高度な物体操作が期待できる. しかし，これまで報告されている滑り覚センサや滑り検出手法では，多関節多指ハンドによる動的な物体操作を行いながら，滑りを検出できる状況になっていない. 一方，視覚センサや力覚センサを用いて接触点移動や接触力を正確に計測できれば，滑りを検出し計測することは可能であるが，実際には，センサを単独で用いた場合にはノイズが多く誤差は避けられない. そこで，本研究では，センサ統合により滑りを検出し計測する手法を開発する.

1.2

本研究の目的

本研究の目的は，多関節多指ノ\ンドによる器用な物体操作を実現するための，汎用性のあるセンシングシステムの開発である. 本センシングシステムの計測に基づき，多関節多指ハンドでの多様な接触を伴う動的な物体操作を実現し，さらに，環境との接触や摩擦により生じる作業エラーにも頑健な物体操作システムを実現する. この目的を達成するために，以下のような技術や手法の開発を行う.

(1)汎用性を実現するための，一般的で入手容易なセンサにより構成されるセンシングシステムの開発.

(2)動的な物体操作を実現するための，対象の位置姿勢を実時間，高精度，高信頼度で計測する手法の開発.

(3)作業エラーに頑健な物体操作システムを実現するための，滑りを検出し計測する手法の開発.

(13)

1.3 本論文の構成 ⁶

1.3

本論文の構成

本論文は，第1章「序章J，第2章「物体操作システムJ，第3章13次元視覚処理J，第 4章「センサ統合による対象の位置姿勢計測J，第5章「滑りの検出と計測J，第6章「組立作業における作業エラー検出J，及び第7章「結論Jから構成される. 以下に，各章の概要を述べる.

第2章「物体操作システムJでは，まず，本研究で対象とする物体操作について示す. 次に，物体操作におけるセンシングについて示す. 最後に，システム全体のハードウェア構成について述べる.

第3章13次元視覚処理Jでは，視覚センサにより対象の3次元情報を実時間で獲得する手法について述べる. まず，カメラモデ、ルとステレオ視について述べる. 次に，局所相関演算に基づくステレオ追跡について述べ，追跡における問題点とその解決策である注視点管理について述べる. 最後に，視覚計測に関する実験について報告する.

第4章「センサ統合による対象の位置姿勢計測Jでは，計測の精度と安定性の向上を目的とした，センサ統合による対象の位置姿勢計測手法について述べる. 第3章で提案した視覚による計測では，獲得される視覚情報が少なくなると，安定で精度のよい計測結果が得られなくなるという問題がある. そこで，複数センサからの情報を統合する手法を開発した. 本章では，まず，各センサの計測機能について述べる. 次に，センサ統合による対象の位置姿勢計算手法について述べる. 最後に，提案した手法を検証する.

第5章「滑りの検出と計測」では，ノイズが多いセンサ信号からの滑り検出の信頼性を高めるため，センサ統合に基づく検出手法を提案する. まず，滑り検出のための幾何学的な式と力学的な基本式を導く. 次に，これらの式を修正し，実環境での滑り検出と計測とを可能にする式を導く. 最後に，提案した手法を検証する.

第6章「組立作業における作業エラー検出」では，開発したセンシングシステムを用いて，組立作業で生じる作業エラーを検出する手法について述べる. まず，ハンド制御ループの上位レベルに，操作対象の位置姿勢の監視及び滑りの検出を行うモジュールを追加し，作業エラーが検出できることを示す. 更に，エラー検出結果に基づくリカバリにより，作業が

ロバストに実行されていることを示す.

第7章「結論jでは，本論文で得られた結果を総括する.

(14)

第2章物体操作システム

本章では，まず，ノド研究で対象とする多関節多指ハンドによる物体操作について示す. 次に，物体操作のためのセンシングについて述べる. 故後に，令体のハードウェア構成について述べる.

2.1

ハンドによる物体操作

d e r e 時1川・司irL

3H Fa

Fig.2.1: Objぐct 111811ipnlatioll with礼3-五ngC'l"C'd hand

本石.jf)'Lでは， 3関節3本指ハンドをJIJしEて物体をJ菜作する(Fig.2.1) . 各指は，長さ約

18[(・m]で，半球状の指先をイ守する. 指先には)J党センサが，また，各関節にはエンコーダが

装備され，これらから符られる情報に基づいて指が制御される. また，ハンドの掌に装備されたレーザ変位センサや，ハンド外部に装備されたステレオカメラを用いて操作対象の位置姿勢を計測し，この計柳川lii呆を制御にJ!Jし3ることにより，目標の物体操作を実現する.

(15)

2.2. '転がりJ妥触による物体J栄作

2.2

転がり接触による物体操作

多|英Jî!îi多指ロボットハンドでは， 1本のJHの運動内巾度は3程度であるため，後数のJFîの協調によって操作文J象の61'11111交の運動を制御しなければならない. このとき，現'支の指先は体肢のない}，�，とみなすことができないため，対象と指との接触l�をl転がりや滑りにより移動させる必要がある. 転がりによる接触点の移動は幾何学と運動学に基づく解析が可能で，対象の状態のJICl) ;Ï)í'的な予測やえl'iJ11Jがしやすく，過!文の)Jのかからない繊細な動作がltJ]1、予できる.

'1以がり接触による物体以作の例をFig.2.2にぷす. この|刈のド下分は， f*触部分を拡大したものである. この例では， t行の協，tJl�により， Fig.2.2(R)からFig.2.2(c)へと対象の牧町を 1'. )jへ公化させている. 1χ111'， )しは操作IHJ�fìlj，'jの抜削!}，'，i.1\/: ;y，':をぶし :'1りは保作終f11.)-=のJ主削!}.'，í，杭;i"，�をぶす. 1行先ぷj(!j卜.の彼削!点と丸j象ぷj(li j-.のJ長f��:}，'，i.が'11よがりにより移動していることがわかる.

hnv

(a) Start

ノ'ee、、唱b \lノ

_{(c) Goal}

Fig.2.2: Transitioll of (刀lltac寸point討in lllanip1l1川ion wi t h _rolling

本研究での物体操作では，対象の多様な動きを実現するため，指先のみの転がりJ妾触に法づいて， tFîと対象を制御する. また，以ドの事項を前提とする[58].

・操作対象と折先の幾何学形状は既矢11である.

・操作開始時の付象の1\'ZI�{姿勢は既知である.

(16)

2.3. センシング 9

- 操作対象と各指先とは!空隙ありl�接触を仮定する. 但し，対象と指先との接触l�まわりのrll悼式摩擦はゼロとする. すなわち，接触点において，ノJ成分のみ伝達し，モーメント成分は伝達できない.

・操作対象と科指先の動作は準静的であり，操作の|療の動力学は無視する.

2.3 センシング

2.3.1 転がり接触による物体操作のためのセンシング

'Iü;がり後触にぷづく'ié�な物体操作をソミ瓜するには，操作"1にさまざまなパラメータを求める必t:.カfある. Fig.2.3は，本システムで、求めるハラメータと，それらのハラメータを求めるのに化川するセンサの関係をぶしたものである. パラメータは，物}IIUIななセンサに近いレソレ，よりtlli象!交の|;'J川、物体操作に近いレベル，その11111"1のレベルの3つのレベルに分別することができる.

Fig.2.3: üvc、ra11 scn日or infornl8. ^tion

センサに近いレベルに合まれるパラメータは，センサのモデルをmいてセンサからの信ザを処珂することにより求められる. このパラメータについて，以ドに述べる.

・関節角度:関節に装備されたロータリーエンコーダをJIlし】て求める.

• )Jとモーメント:指先リンクに装備された6軸ノJ党センサを川いて求める.

(17)

2.3. センシング 10

- 物体表面の3次元位置:ハンドの掌に装備されたレーザ変位センサを用いて，レーザ光を対象表面に投影し，その反射光をCCD素子で受光することで，三角測量の原理により対象までの距離を計測する. またハンド外部に装備された2台のCCDカメラを用いて，対象を含む画像を取得し，ステレオ計算により対象までの距離を計測する.

中間のレベルに含まれるパラメータは，それらを求めるのに，ハンドと対象のモデ、ルを必要とする. 中間レベルのパラメータの説明を以下に示す.

・対象の位置姿勢

操作中に指と対象の聞に滑りが生じず，接触点が転がりのみにより移動すれば，

転がり接触の関係式に基づき，微小時間で、の関節角の変化から位置姿勢変化量を推定できる. 従って，このとき操作開始時の対象の位置姿勢が既知であれば，位置姿勢変化量の推定値を積分することにより操作中の対象の位置姿勢も推定できる. しかし，実際には滑りが生じるために，推定値との誤差が生じる. そこで本研究では，視覚センサなどを用いて位置姿勢計測を行い，推定値との誤差を補償する. この計測では， Fig.2.3に示すように全てのセンサを用いる.

- 対象と各指先の接触点位置

対象と指先の形状モデノレが既知で、あれば，対象の位置姿勢と，関節角度から計算される指先中心位置とを用いて，接触点を求めることができる. また， 6軸力覚センサを用いるBicchiら[²⁰]の手法でも接触点を求めることができるが，この手法では，力の計測値が小さい時や振動する時には誤差が大きくなる. 本システムでは，これらの2つの手法の切り替えができるようになっているが，本論文での実験では前者の手法を用いた.

- 指先力

力覚センサでの計測値は，センサ座標系での表現であるため，ハンド座標系での表現に変換する必要がある. この変換には，ハンドのリンクモデ、ル，関節角度値が必要となる.

転がり接触に基づく物体操作を実行する際には，上記のパラメータを基に，把持行列，ヤコビ行列，外力，内力などを求める必要がある. これらのパラメータの説明を以下に示す.

・各指先の接触点移動速度と対象の位置姿勢変化の目標値とを関係付ける把持行列把持行列は，対象の姿勢と接触点位置を基に求めることができる.

- 各指先の接触点移動速度と各関節の回転速度とを関係付けるヤコビ行列

(18)

2.3. センシング 11

ヤコビ行列は，ハンドのリンクモデル，関節角度11在，および各指先での接触点位置を恭に求めることができる.

- 対象に印加された外)]の指先成分

外)Jの各指先での成分は，指先)]と把持行列を基に計算される.

- 各J行先で、のt�持|付ノJ

計測される犯.n=1付ノJは，指先)Jから，外)Jの成分をだしづ|くことにより求められる.

2.3.2 作業エラーに頑{建な物体操作システムのためのセンシング

J折行;光Uのみのl転転がlり) 1峻兵刈内削触j山!に)，たt--:づjいた物f付休4本q以丸t糸I�げ:

J操丸t張I�げげ:げイ1'1:11ドI にJ抜抜広長:fl触1制仙d山!}点.ト:1l:1、，(移d到動í)功JJをl'、'1ドiうため，広�J克との従jヲミや}<<.J察などの外市Lのl;f�て!平により，対象とJ行とのIIU �こi什りが'1:.じやすい. このi'l↑りが}j;[ 1人|で，ム:1となJ巴J5が|イ三I'Hf:になり，作業11(1りから外れたJ栄作が')ミ1 j'されるという作業エラ‘ーが発'1:.する.

ここで，対象の(川円安勢を，lhHリし， 11 t:;': '1礼道との131ぷが大きくなった状態を作業エラーとして検1'1'，し，リカバリ動作を'Ji行すれば， 1'1:業エラーに頑(住な物体J栄イ'/r:システムを'た刻できる[63]. また，滑り，'，体を作業エラーとして検t'I'，することができれば， 1、?ち伴えや氾11� )Jの IIJ設定などの処J'Hを胞すことにより， 11 t;;'{の物体操作が達成rlJ能となり，作業エラーに頑健な物体操作システムの実脱が可能となる. 作業エラー検川の'Î付111は，第6r�tで述べる.

2.3.3 センシンクシステムの構成

本論文では，!Iliがり接触による物イ本操作をゾミ現し，作業エラーに頑(佳な物件�1栄作システムを実現するため，対象の佐川姿勢を，thJ!リする手法と，滑りを検出しi汁出IJする手法について提案する(Fig.2.4中の斜線部分) . これらの下法では，以下の事項を考慮する.

(1) 3次必空間での後数桁の転がりに法づく物体操作を対象とする.

[1{( ，(1姿勢計iJ!lJ] 111と対象のや11文行，'j_，i'í':変化やJ妾触点移動を十|とう， 3次元'l2:l1nでの物体操作をつた脱するために，操作11.1に対象の3次元計測を行う. また，悦党三hJ1IJでの

jFîや降芹物による隠れの問題を解決する.

[i廿り検出/計測]多jFîハンドと対象の間の多燥な媛触動作の中から，滑り動作のみを確実に分離して検出する.

(2) ー般性のある物体操作とIlltj \Lさせる.

(19)

2.3. センシング 12

[位置姿勢計測]本研究で用いている半球状の指先は，球面が接触している操作対象に自由な転がり接触を許すため，一般性のある操作が可能になる. 従って，指先の形状を変更することなく計測を行う. また，対象表面に関する情報を得るための特別な指の動きはしない.

[滑り検出/計測l従来の滑り覚センサの多くは，製作上の理由で平面で構成されている. しかし，これらのセンサを指先に装備すると，操作対象に任意の動きを実現できなくなるため，半球状の指先を変更することなく滑り検出/計測を行う.

(3)実環境において実時間性と信頼性を実現する.

[位置姿勢計測]対象のみならず障害物や指も含まれる画像を用いた視覚計測を実時間で実現するために，ハードウェア構成とソフトウェアによる処理を工夫する. さらに，複数センサからの情報を統合することにより，安定な計測を実現する.

[滑り検出/計測]センサ単体での実計測ではノイズが多く誤差は避けられないが，センサ情報を統合することにより信頼性のある検出と計測を実時間で行う.

(4)汎用性のあるセンシングシステムを実現する.

[位置姿勢計測]CCDカメラ， 6軸力センサ，光学式エンコーダ，レーザ変位センサといった，入手容易で信頼性と耐久性の高いセンサを利用する.

[滑り検出/計測]これまで，さまぎまな滑り覚センサが開発されているが，基礎研究の段階であり市販されていない. そこで，滑り検出以外の目的で開発されている市販のセンサを利用する. 本手法では，対象の位置姿勢計測に必要なセンサをそのまま用いている.

(5)物体操作に本来必要なセンサを利用する.

[滑り検出/計測]物体操作においては， Fig.2.4のように，対象の位置姿勢，接触点位置，および指先力の情報を獲得する. 本研究では，これらの情報を利用し滑りの検出と計測を行う. そのため，滑り検出だけを目的としたセンサの追加やその

配線は必要なく，システムが複雑にならずに済む.

(20)

2.4. ハードウェア構成

2.4

ハードウェア構成

2.4.1 ハンド機構

D...0 D

Finc Manipulation Robust

with Rolling Contact Manipulation

�iι.2. 1: S<'llsill色出羽t^('111

13

本研究で)I jし3るハンド(

(株)安川1U機製[59]

)をFig.2.5にぷす. 各H1はJ1'� �f(J)影をなすように配I('I�されている. 1本の折の)例kをFig.2.6にぷす. 、1�.J;1リ)\の折光のj}:_1(1 Îはゴムで緩

われている. アクチユエータとモータドライパのイJ:級をTable.2.1， Table.2.2にぷす.

Fig.2.5: 3-joint 3一五ngered ro bot ic hand

(21)

2.4. ハードウェア構成

28mm 42mm 46mm 52mm

Fig.2.6: Fi11ι('1' (、ol1figuratio11

TC1b]('.2.1: 8p(、(・i白川i0l1 of act uat 01・

〉と十件11jJ，)j

定的人)jトルク

〉と絡1'111))トルク LI之大人ノJ 111111な;数 LI立大llドII)j 11111!l.L;数

〉と十作;ι討L 減速比 -\J-û�

1よr)千L l1iL ^1.

モータ

1. l\\'

11. 0 1 _x1 0 -:3 N _III

O. ^{71 �}¹¹¹ ^{(ギア効キ�} �O ^%)

180()l・pn1 22.5rp11l 1.0A

l/�O ^{(ハーモニックギア)}

ゆ30 x 29 111111 (リンク庁1)I�余く)

約70g

ACサーボモータ

Tablc.2.2: SpC'ci白cation of 11lotor drivc、board

指令人)J/迷!交指令指令入)J/泊流JH令市Ij倒lノj式

速皮指令11，'J: ilJIj御出ノJ

電流'rI1Fヒ外形寸法

5V / _1200rpln

3.5V / 1A

速度指令/電流指令比例制御/比例積分制御エンコーダABZ相パルス

土5V

310 x 200mlTI

14

12mm

(22)

2.4. ハードウェア付与成 15

2.4.2 センサ仕様

本研究でJIJし1るエンコーダ� 6帆)J党センサ，レーザ変位センサの仕様をそれぞれ， Table.2.3，

Table.2.4， Table.2.5に/Jミす.

;ι十作1'，:j Îf(

分Wf.能

i'l'1 ))イliU ilM:冬段アンプ

|析線機能検矢11

Ta.blc.2.3: Sp代ぜiぐation of rotary cncoder

光学式，インクリメンタル)J式(A，B，Z、U，V川f十rllJI)]) A小11およびB本119Gpulsc/l'CV

Tablc.2.4: Spc、(・ifiC'cüioll of 6 axis fo1'ぐC SC'll日01 5 k色r (ノ) Fx.F�'，Fz)

-J kgf-(・]II (モーメントTx，T�ヘTz) 3.3ιf (Fx.F�') 10巴f (Fχ) 2ι1'-(']11 (Tx.1\) ².7ι^{ベ1 11 (j('h 土5V );::1íJJ l' J '1))

(T兄)

リニアテクノロジ社LT1057州、ljJIll 変換出ケーブルの代ぷ紘の|析紘を検知|

オーフン・コレクタ1'1 '1)) ローパスフィルタ 100Hぉ

jgl析LW皮数

タト)杉-、J'υ; (変J奥山)φl� _X32.8111111 (アンプ) 150 x 110 x 30mm イ史JlhllllJJ[範IHI Cf C"""'50 ^v ^C

tlt iv;l _士山V(パワーサプライユニットから供給)

Ta blc.2.5: Spα‘i五('a t iOll of 1a8cr displacClllC'llt SCllSOl 測定範IHl

分解能

〉tj原

スポット任 1111長|て

アナ_ログ山ノJ 使川j昆皮範1)十|

使川周りHlm]支外形寸法電源

80土15mm 31-1717

亦色、1':導体レーザ， 67C)lllTI (f1J悦光) ，故大山ノ] 0.95 mW 約ゆ70pn7 (�nmH� 80111111にて)

士0.1 ^%^F.S

'7ltJI�nll))士5V(3/Im/mV)，屯流出)J4"""'20mA

。o C"""'50 ⁰ C

10000ルクス以ド

(センサヘッド) 95 x 76 x 36mn7 (アンプ) 140 x 112 x 76rnn7 DC24V

(23)

ハードウェア構成 16 2.4.

全体構成

2.4.3

センシングシステムを含めたハンド制御システムの全体構成をFig.2.7�こ示す. このシス

およびオペレータとのインター各種センサ，

アクチュエータ，

各種VMEボード，

テムは，

�附 aCommand

&

Data

_�₍I "vφ

1. 主rerrmnal

・ 1

FinQ:er control siQ:nal

フェイス部分から構成される.

Control CPUl (D/

_A

converter) (Pulse coun町〉

F叫er forceω(Forc

〈Laser displacement sensサ

〈Stereo CCD camera ) くTV rnonitor )

ー(X _terrninal

Joint encoder

Joint anQ:le data

A!D

converter

3D vision data e一 a 一

m .，i-AU一・・・2・-免u一'EEA-rL

e一V一

O一

) .Command

^&

Data Tracking Vision

(Video board)

〔Con叫即

VMElBUS

Fig.2.7: Overall hand system with sensors

A/^{D 変換} 2枚の CPUボード(Micro 8 PARC2， 110MHz) ，

VMEパスシステムには，

およびビデオボードが連トラッキングボード，

カウンタボード，

D/^{A変換ボード，}

ボード，

CPUlにて指の制御信号の計算を実行し， CPU 2 結されている. 実時間処理を実現するため，

リアノレタイム08であるVxWorksが組み込まにて視覚計測における計算を実行する. また，

各ボードのレジスタはVMEパスシステムのメモリ空間上にマッピングされておれている.

メモリ空間に共有メモリを確保するこ

り，各 CPUから読み出し/書き込みが行える. また，

CPU聞の通信が可能となっている.

とにより，

モータドライバにより速度制御され各関節アクチュエータであるACサーボモータは，

D/A変換ボードを通じてモータドライバに指 CPUlにより計算され，

この制御命令は，

る

令電圧値として入力される.

力覚センサからの信ロータリーエンコーダからの信号はカウンタボードに入力される.

それぞれのセンサアンプを通じてA/ ^{D変換ボードに入} 号やレーザ変位センサからの信号は，

また，処理中の画像データ力される. CCDカメラからの画像はビデオボードに入力される.

ビデオボードを通じてディスプレイモニタに出力される.

Etherネットを介して行う.

システムとオペレータとの通信は，

は，

(24)

第3立 3次元視覚処理

3.1 はじめに

多|災Jt!íJ多折ハンドによる物体操作で，ねb1に!安求される機能は操作対象の3次ノ乙全IIUでの ')JI Y 1111 i\J� ii"I�安勢，ihHlJである. ，)ミ11.�:II\j'l'tを伴似するためには，シーン全体をねU1↑111 'r:li処Illlすることはできず，対象のi\J: i円安勢，lhWJに必安な↑IIJ，W.のみを111i速にj佳作する必裂がある. 物体11ラ

;1)\と概111併の.MHJJ校間二奈勢がl沈tllであることはイ以VJな千がかりとなる.

また，キ1_L\工作業のように彼放のNI)I'II'Iを倣う作業では，似11(1<) ，こ11T;itが級会ft:になり，しかも作業j住民にともなって変化する. また，操作付象物体のnJ側部分も， f行の到Jきや作業進)1�に 1'1:って変化する. 物体の輪郭などのI/lJ紋工lノジ↑I'î:'r-liは，附ìií_な微分処IIP:でソミO.JIIU.tilHH 1山花な特徴であるが，変化する級制ifllT;jfとの分1�1f:が11(1�I�である. そこで本研究では，彼�f�í'r l;tの処 IIP:を川越するため物体のIIJ似点I(ljのr(!jl什にある悦党.J'ilHH IJJímな特徴l.�だけにた1Iするような)IlJJví' (10処IIHを行う. ここでシステムが?ì:_1:1する4・午微}，'.r:を?ì;，悦}，'.Zと11子ぶ.

本システムでは，まず，対象ぷ1M 1--のj山i主J十付似j凡比�}人点"

に，後数の?ì:制点の3次)C:i\/� i;"I�をモデルとm�介することにより，対立との牧町姿勢を求める. _/1:

1lのカメラで， ILÏI百jの経過とともに移動する?ì:悦}，'J.を追跡することにより，連続的にその3 次JC位内情報を獲得することができる. 多関節多JHハンドでの物体操作では， H1による隠れが頻繁に11三じるという問題がある. 隠れが'1:-じると，システムは，似たような特{投を.n�つ別の領域を追跡するためステレオ悦で、のぷI、J J，è:が'1:-じる. この誤対応データを基に対象のi'/�

R姿勢を計774した場介，その，i;I-1日見ぷは大きくなる.

この問題に付し，カメラ，物体，および桁のモデルを用いて，nJ .f:JU ì:侃l�の計71やjfl対応データ除去を行い，安定な追跡と(立川姿勢，1'I'iWJを実現する. さらに，卜分な数の悦党特徴点が確実に伴られるよう，jfU炎パターン(テキスチャパターン)投影を行い，実時IBJ'1ゾ1:を保保するためハードウエア化された相|期演算処JII�に)I�づくステレオ悦を構成し，操作対象の3次元位置計測を実時間で実現する.

本章では，使用したカメラモデル，局所ホIJ関演算に基づくステレオ追跡処理，安定な追跡手法，対象の位置姿勢計算下法について述べる.

(25)

3.2. 3次元計測 18

3.2

3次元計測

3.2.1 カメラモデル

〆..P(Xe， Ye' ze)

Z

Projection screen

X

Fig.3.1: Perspective camera model

ピンホールカメラの透視変換モデ、ノレを仮定し， 3次元計測を行う. 計測においては，理想的なモデ、ルを仮定し，ひずみは無視するものとする. この透視変換モデ、ルをFig.3.1に示す. 実際の配置は，撮像面ーレンズ一対象の順であるが，分かりやすくするため， Fig.3.1にはレンズー撮像面一対象の順で示す. ;)次元空間中の点Pとレンズの中心を結ぶ直線(Fig.3.1 の点線の直線)と撮像面との交点をもとに，点Pの画像上での位置が求められる. ここで，

レンズの中心を原点とする座標系をカメラ座標系とし，この座標系で表現した点Pの位置を (xc， Yc， zc)とすると，点Pの画像上での位置(ん?ら)は次の式で与えられる.

ん= Cx+三cf (3.1)

KxYc

ん = _Cy_-竺L (3.2)

& ^-& KyYc

但し， (ん，Iy)は画像の左上を原点としたときの位置， fはカメラの焦点距離， Kx，Kyはカメラ座標系での位置と画素アドレスを変換するための係数， Cx，Cyは画像左上の原点から画像中心までの画素数である.

カメラ座標系はカメラを基準とした座標系であるが，これとは別に作業環境に固定されたワールド座標系がある. 物体操作において指令値はワールド座標系で表現されることが多い

(26)

3.2. 3次元計測 ¹⁹

ため，対象上の点の3次元位置および対象の位置姿勢もワールド座標系で表現した方が都合がよい. カメラ座標系とワーノレド座標系を関係付ける変換は，

ν =… 1 ^yω 1 ⁺ ^ぬ

|μ川山Xw川ω川I I ^Xm

z勺c I I ^zω I I Zm

で与えられる. 但し， (xωJω，zw)Tはワールド座標系での点， (Xc， Yc， Zc)Tはカメラ座標系での点， Xαcはx軸周りのαc[rad]の回転行チIJ， Tßcはy軸周りのßc[rad]の回転行列， Tγcはz (3.3)

の点の画像上での位置(ん，Iy)の関係が求められる. その関係式に表れるカメラパラメータ (αc， ßc，γc， Xmc， YmC' Zmc' J， Kx， I(y， Cx， Cy)は予め求めておく必要がある. このカメラパラメータは，位置，姿勢，画角などのカメラに関するデータを表しており，キャリプレーション

によって求められる.

3.2.2 ステレオ視

(xw， Yw， zw)

"ρ 、

"， ‘

‘

.‘ ‘ --t ‘‘

，， J

〆

"

β

"，，"

(1ル11yl )

( 1 xr，1 1 yr ^。⁾^\

ーr一一^ー

1 •• ‘‘ ‘ .‘ 、

Left Camera Right Camera

Fig.3.2: Stereo vision

操作対象表面の注視点の3次元位置を求めるために，ステレオ視を用いた. ステレオ視で

は， Fig.3.2に示すように2台のカメラを左右に配置している. 空間中にある注視点を左右の

(27)

3.3. iÌ:制点のステレオ追跡 ₂₀

カメラで捉え，んi右l岨f象の対iit'位置とカメラパラメータにより，その注視点の3ゲく元位佐を計算する.

/五カメラのカメラパラメータをα1，角川1，Xml，y;.η1 ，Zml JI _K， xlJ<yl^・Cxl，Cylとし，右カメラのカメラパラメータをαr，ßr、得、Xmr，Ymr・Zmr- Jr.1< xr _，Kyr、Cxr，Cyrとすると，式(3.1)、式 (3.2)より，それぞれのカメラiAH際系で表現された3次元位置と11可像|付の位置との関係が以

ドのように求まる.

また，式C�.:)) うになる.

'(cl.ll 乙ハ1.11 1:1'1 = c'rI ₊ _ー了_{� ，}_Ivl Cvl一一二二一 R.-.rt.l)cI ^.'1' -.'1' 1< ylYcI

L.，. = C^，.，. ⁺ と

斗

ー I川 Curー土

並

a ， J' AP111/fI M' ν I<.!Jf..lJ('f'

より，作カメラH�t:I�系とワールドJ^i��.紫系を関係十

:

1

⁼¹^;^， ^，1'^1，^ï^�，

[

.lJd I = 1�、，1、;，'j�， I _.l!u、

Z(‘1 1 1 ^Zw ₊

[X

I }う川^l

l

Zml

J|

^，l)cr^Zcr ^1、�，^1�j，^1;，

lllx

^I ^.lJw^ZH、 ^キ ^Z^}�n^m^r

(3.4)

(��. [)) 以卜.のよ

(�1.G )

ここで，ある注視点の/己IrliÎ像での(山町が(1.rl、Iyl)，イ'i pl1Î í象で、の1\/:inが(ん1・らr)であれば，

式(3.4)，式(3.5)，及び、式(3.6)を述、工して解くことにより，その3次元位iを(.TW1yw， zw)

が求まる.

3.3

注視点のステレオ追跡

3.3.1 相関演算に基づく追跡

ステレオカメラで操作対象衣而の注視点を追跡することにより，その注視点の3次元位置を時間的に連続して獲得することがi1J能になる. 1ft見点の追跡は，日所相関演算に基づいて行われる. 相]関処珂は事mICを組みこんだボードをパソコンとともにmし3ることにより，安価で手軽に実時間処理が可能である[60].

(28)

3.3. 1ì:制点のステレオ氾跡 21

中日開処月!は， TV信号の1 IIhÎ I宣iが得られる!支に行われる. 予め保存しておいた注制点を合む矩形の濃淡IlhÎ像を参照11可像R(η ×η)とし，前回の阿像処理で求めた1ì:悦点の杭間の近傍を探索飢域S(m ^x^rn^，^m>η)としたホ11関演算を行い，相関度が -森高い(十1-1関値が一得小さい) 佐川をJJ!犯の注視点の位ítl�とする (Fig.3.3). 候補領域をC(n>くη)とすると， RとC の相関市町Corrは，次の式で、うえられる.

1 1

C07'1'

=乞乞|RiJ-Czj|

^(3.7)

i=l j一l

イ11し， Ri，jは参!!HlrlIÎí象Rでの{川町(i. j)のÙ�I�?j�NL Ci.jは候111日�U或Cでの1\�r in (i. _{j)のjfi淡泊{[}

である.

Timc T-I

!�、、、、;

| TimcT

!l 「琢

^{brc h 山}

|

�R山

ig.3.3: Bloぐk lnatching

3.3.2 マーカ追跡

に場での剤l立作業などでは，操作対象は予め分かっていることが多い. 従って，操作lìíjに時間をかけ対象を計測することによりその形状やぷlnï僕係などの物体モデルを計算機内部に保持することができる. 物体操作における悦党処珂!はヲ三時間で行われる必t::があるため，悦党による追跡においては，この物体モデルを利川する. 但し，僕織のある対象を追跡する場合，とどεの古剤部|日:分を迫跡すべきj注主祝j点主として選ぶかが問題となる. I同品りと|同司じような模t係栄をj注主悦点として選べば，追跡に:失jたと敗する可A訂白能E引'1性|

生成l伊61月lなとどεの下j法去で角解平j決たできるものとし，簡単化のため，物体長田に人工的なマーカを多数日市りつけ，各マーカをYì:t見}，'，(

(29)

3.3. YÌ:杉ljIのステレオ追跡 ₂₂

物体の校内姿勢の計算には，物体!宿探系からJ，�たマーカの位|宵を用いる. 追跡においては，

表|師1--にt!1'jりつけられたマーカのIITJî像を参照l画像として予め保存しておき，追跡中は追跡するマーカの集合に応じて参照Ilhî像の集令を切り終える. 1r1し，物体の同転と共に?E侃点のpT'Î f象が変形してしまうために，物体の，，1: Ltl�姿勢に)応じた参照阿像を用怠する必要がある. Fig.3.4(a) のような物体を追跡するとき， Fig.3.4(b)のように物休の同転に応じて変化した参照|曲i像を蓄積しておく.

aサt・‘r，、、

、、ES，r 〆a‘、、，Jー、.J--a，J 、r・

，，a，‘、、•• ‘ 'f (b) RdCl'('llCC' iUH\gC'S

Fig.3A: �Iark('r tr以・king

3.3.3 テキスチャパターン投影による注視点生成

追跡の|際には，物件三点I[lj. 1.--に相関泌鮮がiSi川できる強い特徴があることを前提としているが，物体表|伺1-- ，こ模倣がない場介には， Fig.3.5(a)のようなパターンを投光器により物体長1m j二に投影することにより，対象のぷIniに特徴を生成する. システムはその投影されたパターンを注視点とした迫跡を行う. ぷ[�î 1-_にパターンが投影された|リれ物体をFig.3.5(b)に示す. この千法では，物体衣1Mにl�ljイfのテキスチャが不安なことにくわえて，パターン照射方向とカメラ悦野方向を近づけることにより， 111川象の変形や動きを比絞的に小さくでき，参照阿像の!よ!新を少なくできるため，管E唱が簡便になる.

(30)

3.4. 1Ì:机l� �l;: ^lrrr

国。 ^国

I� ^rn ^� I� ^rn ^4唱

固

争

^。 ^回 �

国。司区 ^国。 �

4 �

�

^4唱 I�

!si ^。 ^ロ ^g ^。 ^ロ

� ^国。 =� ^国

I� � ^� I� �

司

l ，.、ιEt --z p ) 白い，fl、

23

(b) Objc益d with [)l'Ojcct

(、CI _p川1_('1・11

Fiι.3.5: Pat t('111 pl・0什(・t iOll

3.4

注視点管ま

出リIJ ICによる科11見JNitÎ:はlfJj速で、あるが J行?とされたJ15索領I点|人jで、式(3.7)からf!?られる

イIfiの以小の付-iRを機械的に1'1 '1 )Jする. このため|映像いけのノイズや折の動作による照明条件変化などにより，ぷった(点il�'I�をnUJすることがある. 他の物体に述られてiI�しし){\i= ii"tが作られない場合でも，式(3.7)に従ってぶった(川町をnUJしてしまっ. f;モって，ハードウエアによる相関結果の1'" )Jを3次元i\J=ii"l� 111・trにそのまま仙川するのでなく，吟|床して��Uり必データを除外する必要がある. また，物体の移動l二十1:って見えていた?ìJJl}.1がよ�えなくなる -h，新たな注視点が比えてくるので， J適直切なj汁注i主:悦j人点.

本センシングシステムでで、は，これらの処.f'llを行う注悦点t'�JIQ機付与をl没けている(Fig.3.6).

3.4.1 誤対応除去

次の去�i慢を設け，Jf:対応データを取り|徐く.

1. 相関イlilのしきいイlH

探索|州而の中に迫跡すべき?ìJ見l�が合まれず，別の物体， t\1，背景などが含まれている場合，式(3.7)により計算される候補佐ほのホ111均値は大きくなる. そこで，この判11美j 仰と予め設定された相関仙のしきい他とを比1佼し，誤対応除去を行う.

2. エピポーラ拘束

Fig.3.7において，空間rjlのl�:Pが/正1-ïのIrW像"コでの点PL， PRに対応しているとす

九州大学学術情報リポジトリ