悦党 に よる位i喧姿勢計算

となる.↑r1し， Aはれx 6の行列で，

である.

d = (ムαぅム仇ムγぅムpぅムq，ムγ)T

9 = (ム_Gv¹， '. ^、ム_Gv^η)^T

計算の手JII買は，次のようになる.

Stepl位írt姿勢pの抗定イIQÞをうえる.

27

Step2台とすべての?nIJíi乙I，'，�から1 i5íljAの必ぷを求める. また， 式(3.9 )のG刊のも{[を求め，

それを式C3.11)のムG1'iの似とする.

Step3式(;3.11)を併し3てdを求め，dを.jWど仙台に))11�')�し，次のj又彼，1I-t):の.jW定仙台とする.

Step4 Stc、p2--St ('p;�を11え点するまで繰りj起す.

物体のぷIÚÎが、ドI(lÎの場介やマーカ迫跡のJ必イ?でも， パ(;3.9)の�.lj.llIW G1'iの式を， 以ドの ようにIi?き換えることにより， l'iJ+.ぷにしてj伴くことができる.

(1)物体ぷI(rÎが、ドI(JÎの場合 1Mの)Jれ式が

(l，l' + by + ('z + d = 0

で衣されているとする. ここで，α，b， ('， dは， 物体Hi1.票系における、|三1Mのパラメータと， 物 体の佐代姿勢pによって決定される �山ì:付悦L}人λ点1，'江，‘〔の3次j厄乙Uυド川階λi巨:汁十際f票JをZ叫1バ?

G机は，

Gvi ⁼ Iα，ì'1'i + bYl'i + (:Zvi 十dl (3.12)

となる.

(2)マーカ追跡の場合

ーカのステレオ迫跡で科られた3次Jl:H1t��をXvi(九1・Yvi・Zlli)とし， 物体同E標系でぶrJ�

されているマーカの3次JéHÆ燃をXoi(.Toi. Yoi・Zoi)とする. Xoiを式(3.8)に代入して作られ た3次JëIÃik標をzL(.rL-uL.411)とすると， �n離Gviは，

Gvi ⁼ \/ (Xvi - X�J2 + (仏li - Y�'i) 2 + (ZlIi - Z�)i) 2 (3.13) となる.

2

視覚による位置姿勢計符

3.5.

特異値分解

3.5.2

物体形状と符られた測定点の位前および数によっては， 式(3.11)の行ダIJAが特異となり，

ムß， ムγ， ムp， ムq， ムγが一，立に定まらないことがある. これは， 得られた測定点の データが少ない場合や複数の測定l而に対するデータが得られない場介に起こる.

ムα，

この場合， 式(3.11)を特呉市町分解することにより， 確定するí1rJl皮と不確定なIlrll}支と を分離することができ， イミ峰Æなn 1-11度成分については反復修正日をOとする解が得られる [62].

式(3.1 1) の行ダIJAを�.s:�N1，(T分解すると，

(3.14) V*d = ⁹

U

. .σ(jをì�

まれ:ダiJのJH文Iljl�lnをぷす) ， 2はσl ここで， U， Vはユニタリ行列(

，HiíJ必ぷとするkげíJ1 J-'ダIJ ( となる.

σ(i]) である. ↑引引|刊lし， σ叫1 (はまAの�.:川、!j1jりjt1

(ト似k心ι川!� I山;t汽tq[ヨ安5勢が 広むに;定ιまらなしい、.

= di(l.<J[σト

= d În.(j [σ1.. ..，σ1，0卜1く()) ，

d= V求dとおけば，

なる特j引

このとき， 9 _{= U* g，}

(3.15)

、llJPO

(i =" + 1，

• 1 、、EE，J 0=ふ

σidi =あ(i = L 2‘

こtLより，

となる.

(3.16) dl =不定(i= ，. + 1. • • ^.. 6)

• 11，ノ、，，

(i = L 2...

di =長/σ1

.， d6をoとしたものは， 最小ノ という併が科られる. 式(3.16)の11'で不定であるdr+1 ，

ムγをJx.1.刻|多 ムq，

， 対象の位!究姿勢は， 初期イ，(1に近く， すべての測定点から対j，�'，

までの距離の;来和が此小になるよう決定されている.

ムγ， ム]J，

ムβ，

これより伴られるムα，

ルム肢小:来Wí:とH予ばれている.

正の過紅にJIJしEる. このと 点( I而)

3.6. 実験 ₂₉

3.6

実験

3.6.1 ハードウェア構成

開発したシステムは， ビデオイ"なのフレームレート(毎秒30 I叶)で， 対象物の位間姿勢 を決定する. ハードウェア構成をFig.3.9にぷす.

VxWorks (Rea卜time OS)

鍾宝33Z2a

Joint

Encoders

む)

• • •

• •

• • •

• •

・8

・・-Fig.3.9: Harchvarc汚truc、turc

l同(象人)J �I)は， IlïJ期した2つのCCDカメラで対象のステレオ!雨ií象を作る. このとき対象 が， J正カメラでは悦貯の/己、|三分に， また右カメラでは机貯の右半分にJ最像されるようにカメ ラの視野)frf，]を調終しである(Fig.3.10) . 水、IqíÞ'引期間の前、1':で、Jr:カメラ， 後、ドで、イ1・カメ ラの映像が人かされるようにイ，iけを切り伴えることにより 1枚の TV lùli IfrJでステレオplli像 を得られる. 通r';l�.の/五右カメラの人)Jでは2枚のl町像の入)JIl寺間が必安であるが， ビデオイ，i

ifを切り杯えることにより1枚の|由i像の入力11.):問で済むようにした. このときの入)JIlhi像は，

Fig.3.11のようになる.

ステレオ追跡における処瑚IJS:IHJを短縮するために相関演算を行うハードウェアとして声士 通製のトラッキングビジョンを用いている. このトラッキングビジョンでは， 約100個の注 視点の追跡をビデオレート(約33[ⁿ¹⁸])で行うことができる.

3.6. 実験 ₃₀

Left Camera Right Camera

Fig.3.10: Synthcsis of stereo image

Fig.3.1l: Synthesized image

3.6. 実験 ₃₁

3.6.2 キャリフレ-ション結果

3次元測定持を用いて， カメラのキャリプレーションを行った. 本実験でのセンサ配院を Fig.3.12に/J�す. カメラのキャリプレーションの下法と， 計算されたカメラパラメータの詳 細を付鉱Aに/示す.

40cm 40cm

10cm

VE'同

制

­ nvrJtT4

L ATE-、明酬副P》F+Lov--1・0-M『E'園pt-

酬副P》F+Lov--1・0-M『E'園pt-top view

18cm

4rl寸 可 L.L__j

バア寸

じ�

side view

Fig.3.12: S('llSOl' positioll

ステレオ行hJ1lJにおける，�'I't�=イIf[とソミiJ!lJ11f[とのぷ足分イlîをFig.3.13にぷす. カメラはf五点距 離16[nlm]のレンズを装備し， ハンドの'1'心付近で約70[mln]の点、ド'1101に刈ーし256 jïlIÎぷの分解 能を確保している. ステレオ三!日IJで、の飢足の絶対イ|円の、Fよりは0.40[lnn1]， 標準偏差は0.40[llllll]

である.

対象にパターンを投影した11.]:， 投稿得とカメラの配i賢から各ノfターンの!I可|前仁で、のイFイ(範

|荊が求められる. 本実験では， 作業空間でのx 'Iql!)j[n]を-60.0[mn1]----60.0[1ll1ll]に制限するこ とによって， Fig.3.14中の11紋にぷされるような各ノマ ターンの存イf:q'i� _{[J�を仰る.}

3.6. Iメミ!

Data Number

30 tn

20

10

o 1.0 2.0 3.0

Absolute Error [mm]

Fjg.3.1:3: Ernn・dist ribnt iOll

ig.3.14: T\Iovable _range of cach _pattern

32

3.6. 実験 ₃₃

3.6.3 隠れに対する実験1 (マーカ追跡)

他の物体によって対象物の一部を隠して追跡を行わせた. 追跡の際， 隠された注視点で は誤対応が起きている. Fig.3.15において， 白い四角で固まれた部分が注視点である. また，

二重の四角で固まれた部分は， 本システムにおいて誤対応と判定した追跡領域である. この 結果から， 他の物体により隠された部分を誤対応と判定できていることが分かる.

Fig.3.15: Occlusion by an obstacle

この実験での各注視点に関するデータをTable.3.1�こ示す. Table.3.1中の注視点間距離 の比較結果とは， 次のようにして算出する. 計測されたデータを用いて2つの注視点問の距 離を求め， その距離をモデノレ内で、の注視点問の距離と比較し， 誤差が大きい場合， その得点 を1とする. 誤差が小さい場合は， その得点、を0とする. 注視点間距離の比較結果は， ある 注視点に対し， 他の全ての注視点との距離を調べた時の合計得点を示す.

Table.3.1に示すように， 隠されている注視点(番号に下線が付しである)は， 相関値，

エピポーラ線とのずれ， 注視点間距離の比較結果のいずれかが悪い値をとる. 従って， これ らの結果により， どの注視点が誤対応を起こしているかが判定できる.

次に， この誤対応データを除去せずに位置姿勢を計算した場合と， 誤対応データを除去し 位置姿勢を計算した場合を調べた. その結果をTable.3.2に示す. 誤対応を除去しない場合 では， 誤差が大きくなっている.

3.6 実験

Table.3.1: Attention area data

相関値 エピホ。一ラ線と 注視点間距離の

J合工L方^Eコ

(左) (右)

のずれ[pixel]

比較結果[個l

l 2019 2503 0.030 6

2 14803 19548 0.939 13

3 3947 3603 0.023 4

4 14301 13422 4.513 9

5 6331 ⁸⁴¹⁷ 6.212 10

6 1584 ¹⁶83 0.215 ⁴

7 4383 9828 ^{5.928 17}

8 14454 7435 7.533 13

9 ⁵27^{G -tG61 0.024} 2

10 ^{1456 17U1} 0.300 ⁴

11 1106 1373 0..:102 ⁴

Table.3.2:

Posc、 lllcasu目、lllCnt with occlusion 姿勢[也、g] 位同[n1n1]

c\' け γ ^X y Z

誤対応を除去しない 0.5 ¹3.0 2.^{3 6.4} 0.6 167.3 誤対応を除去する

実測値

0.5 0.3 0.0 1.0 0.6 178.5

1

^0.0

1

^0.0

1

^0.0

1

^0.0

1

^0.0 1179.0

1

34

3.6 実験 ³⁵

3.6.4 隠れに対する実験2 (マーカ追跡)

二〉 二〉

O[deg] 15[deg] 30 [deg]

Fig.3.16: Tracking with rotation around z-axis

物体をz軸まわり(Fig.3.12参照)に回転させ， 物体自身の隠れに対応しているかどうか を調べた. Fig.3.16は， ステレオ画像のうち片方の画像だけを示している. 白い四角で固ま れた部分は， システムが追跡している注視点である. o [deg]のとき，18個の注視点、を追跡し ている. このうち，し1くつかの注視点は，15 [deg]になると， 追跡が不可能になる程度に画像 が変形し， さらに物体が回転すると画面内から消失する. 追跡が不可能なほど変形した注視 点領域や画面内に存在しない注視点領域を追跡すると誤対応の可能性が高くなってしまうの で， 本システムでは， 追跡可能な注視点だけを， 物体の位置姿勢や面の傾きなどにより求め ている. 15[deg]のとき， 9個の追跡可能な注視点だけを追跡していることが分かる. 30[deg]

のとき， 画面に現れる注視点を物体の位置姿勢や面の傾きなどにより求め， それらの注視点 の追跡を開始している. このとき， 追跡する注視点の数は18個に増えている. このように，

本システムでは， 物体の回転による注視点の出現と消失に対応できている.

3.6. 実験 36

3.6.5 隠れに対する実験3 (パターン投影における追跡)

ここでは， パターン投彩による計測において， 誤対応除去と注視点選択により， 移動物体 の計測が可能であることをぷす.

この'k!験では， ハンドによりjlJ柱物体を， カメラ杉山fのイ[からメr:.へ移動させた. このとき の移動開始時の入)Jlr可像をFig.3.17(a)に， 移動終打l手の入)]I酎像をFig.3.17(b)に/Jミす.

Jiカメラから伴られたIÙIÎ像には， イミシステムが求めた口J視注視点と誤対応部分を併せて失心 しである. _1'1し)Ilq f可でIJFlまれた;tl�分は， ili跡IIJ能なiJ:.制点である. また， _� îf(の"qfLJでIJI:jま れた部分は， システムがIj�l�j、JL�'\と判定した追跡似J或をぷす. この実験では， nnlりj変化やjlIIÎ像 ノイズなどが以!大|で?_ì�. t>L，I.\の迫il'�;に火l!欠しているが， システムはそれをI���kJ J，いとÎ:1j^{í，としてい} る. また， 物体の移動'11に迫跡i_ì:. tJL点の朱イ?を切り伴えることができている.

(a) ^Start (b) GO<l[

Fig.3.17: l\lcHSllr('ll1('llt of ^a llloving objc(・1

3.6 実験 37

3.6.6 隠れに対する実験4 (Jてターン投影における追跡)

この実験では， '(主机点データの数によって， 位置姿勢計測結果が変化するかを調べた '(主 悦l�データが多い場合として， Fig.3.18内の11い内角で問まれた注視点の中から15点用い た. また， HJ見}，�データが少ない場イ?として， それらの注制点の巾から4 ，��選択し， 計算に mいた.

表3.3のように， データ数が少ない場合では， データ数が多い場合に比べると位位姿勢計 算の誤jEが大きくなる. この問題の解決千法については， 第4市で述べる.

Tablc、3.3: PO町、lll(、川UH'llH、nt \\'ith P川tcrll pro.icぐtioll

ヨ三勢[dcg]

^{1\/� i?t}

[山叶

(\ X γ

データ数が多い _。0:33 O.C)l<-1 - 1 .G 3.0

( 1 5 }，'，()

データ数が少なし、 _一O.l�� 0.300 ^-1 4_.7 -12.0

(4jI)

実測IJ111'( ^{ハU 、B，J ハU ハU ハU ，z・‘、 nu 、，.，，}

Fig.3.18: Tracking with pattern projcction

3.7. まとめ ₃₈

3.6.7 処理時間

本システムでの処瑚H手間をFig.3.19にぷす. }J最像からJ巴持物体の位置姿勢決定までが実 lIJ問(33[_lns] 以内)で実行されている.

33ms

|T附くing(Trac�くIng V陪io川

\ ^15ms Removal of Mismatches 2ms Stereo calculation

Pose Esti mation

Selection of Attetion Area

i巴.3.19: Proc(、山ing t illl(、

3.7

まとめ

ソミlI，ilß]3次JC悦党を実現するための新たなシステム構成について述べた. 本センシングシ ステムでは， �V� _JIj ICによる|:1i速ネ1I1対処flJ!とソフトウエアによる訟対応除去にくわえ， テ午ス チャパターン投影による煩い11J悦特徴の/1:.成により， 信頼'1"1:の1';:;\.t) 3次元十JUî↑r'S'Wがねられ ている.

多関節多指ハンドは狭|溢環境でも多n山)主の辺�)JによるJ栄作が可能であるが， 操作対象の 位l育委勢の計iWJがI�c]雑であった. 本センシングシステムでは， 狭陥環境での操作対象の{川町 と姿勢の訂以IJにおいて， 机j'tに生じる|沼れやiif:刈-I，�'Iの11り題を解決し， 精度のよいl�ri!!lJ1111[が突

時間で1�Þられることを確認した.

本市で提案した下法では， 以ドの問題点がIYJらかになった.

- 対象の位置姿勢の計測において， 誤対応を起こしている注制点の3次元位慢を用いる と訟差が大きくなる. そこで， 誤対応除去により|正しく対j必づけされた花視点を求め，

それらの3次元位百だけをJIjし1ることにより言hHlJ誤差を小さくした(3.6.3節). しか し， 誤対応除去によりデータの数を減らしていくと， それらの3次j己位毘が正しくて

ドキュメント内 九州大学学術情報リポジトリ (ページ 34-46)