第 5 章 ハイブリッドトラッキングシステムの評 価と動作確認価と動作確認
5.1 自然特徴点を用いたトラッキングの評価
5.1.3 自然特徴点間のマッチングの評価
異なる視界画像で検出された自然特徴点に対して、現実世界では同じ位置にある点 同士を対応づける自然特徴点間のマッチングについて、本研究で提案したHarrisオペ レータと直線検出の併用による効果を確認するために、評価は、異なる位置・姿勢で 撮影された2枚の視界画像で対応付けを行い、正しく対応付けられているがを評価し た。手順は、まず2枚の視界画像から、Harrisオペレータによる特徴点検出のみの場 合と、直線検出によって得られた直線同士の交点座標による選別を行った場合の2種 類を行う。Harrisオペレータによる検出によって得られた特徴点の中で、対応付けら れるものを目視にて確認する。次に得られた自然特徴点について、1枚目の抽出結果と のマッチングを行い、Harrisオペレータのみ場合と、直線検出を併用した場合のそれ ぞれについて、本システムのマッチングアルゴリズムによって対応付けを行い、その 結果と目視して得られた結果を比較する。また、Harrisオペレータによる特徴点検出、
直線検出、テンプレート画像生成、類似度算出に要した時間も合わせて計測した。撮 影対象としてはプラント機器の代用として、モータを写した。また、Harrisオペレー タ、直線検出での各パラメータは4.2.5で述べた設定とした。使用した視界画像の1枚 目を図5.9に、2枚目を図5.10に示す。
この2枚の画像から、Harrisオペレータのよって自然特徴点を検出した結果を、図
5.11、図5.12に示す。検出された自然特徴点は、赤い正方形の中心である。ただし、1
枚目の画像で番号が振られていない正方形が1つあるが、画像の左端に寄りすぎてい るため、テンプレート画像を生成できないことから除かれた点である。
次に、特徴点検出に直線検出を併用した場合の視界画像を図5.13、図5.14に示す。
図中の白い線が検出された直線である。
検出された特徴点の数を表5.6に、直線の本数と、直線同士の交点の数を表5.7に 示す。
表 5.6: 検出された特徴点の数 検出された自然特徴点の数
Harrisオペレータのみ(個) 直線検出を併用(個)
1枚目 34 2
2枚目 28 2
Harrisオペレータによって検出された自然特徴点の座標を、表5.8に示す。
図 5.9: 視界画像(1枚目)
図 5.10: 視界画像(2枚目)
表 5.7: 検出された直線の本数と交点の数 直線の本数(本) 直線同士の交点の数(個)
1枚目 7 12
2枚目 6 8
図 5.11: Harrisオペレータによる特徴点検出結果(1枚目)
15 18
7 9
14 17
20
16 19
10 4
6
13 8
5 3 2
11
12 1
26 21 24
23 27
22 28
25
図 5.12: Harrisオペレータによる特徴点検出結果(2枚目)
15 18 7
9
14 17
20 16
19 10
4
6
13 5 8
3
2
11 12
30 2426 21
29
23 27 22
28 25
33 32 34 31 1
図 5.13: 直線検出を併用した特徴点検出結果(1枚目)
15 18
7 9
14 17
20
16 19
10 4
6
13 8
5 3 2
11
12 1
26 21 24
23 27
22 28
25
図 5.14: 直線検出を併用した特徴点検出結果(2枚目)
表 5.8: Harrisオペレータによって検出された特徴点の座標
視界画像1枚目 視界画像2枚目 番号 x座標 y座標 x座標 y座標
1 11 74 51 227
2 23 406 55 232
3 32 26 57 218
4 37 30 60 45
5 53 195 65 189
6 123 219 67 180
7 125 215 176 270
8 176 187 232 277
9 242 174 235 252
10 246 291 241 236
11 248 250 355 362
12 252 276 369 468
13 255 269 387 397
14 327 432 429 463
15 335 459 434 197
16 337 225 448 79
17 343 361 450 74
18 378 344 457 133
19 384 356 503 92
20 398 412 509 401
21 446 163 551 155
22 451 150 553 141
23 453 145 557 149
24 457 133 562 169
25 459 126 579 14
26 461 121 593 408
27 473 96 613 99
28 476 82 622 103
29 482 64
30 486 335
31 510 114
32 587 377
33 600 330
34 608 372
直線検出によって選別された結果を、表5.9に示す。
表 5.9: 直線検出によって選別された結果
1枚目 2枚目
13 15
21 16
目視により対応付けを行った結果を表5.10に示す。表中の番号は、図5.11と図5.12 の図中の番号である。
表 5.10: 目視による特徴点の対応付け
1枚目 2枚目
4 4
12 8
19 13
21 15
29 16
30 20
31 24
Harrisオペレータのみの検出結果を使用して、試作したシステムによる対応付けを
行った結果を、表5.11に示す。この際の閾値は、経験上0.4とした。
また、直線検出を併用した場合の結果を表5.12に示す。
また、Harrisオペレータ実行に要した時間は、130(ms)、直線検出に要した時間は、1
枚目の視界画像で2354(ms)、2枚目の視界画像で2133(ms)であった。テンプレート画像 生成に要した時間は、1枚目の視界画像で34枚のテンプレート画像を生成して10(ms)、
2枚目の視界画像では28枚のテンプレート画像を生成して同じく10(ms)であった。た だし、テンプレート画像生成に必要な演算の中で最も演算量が多い処理に関しては、
Harrisオペレータと共通で使用したため、テンプレート画像生成時間には入っていな
いため、大幅に時間が短縮されている。類似度算出に要した時間は40(ms)であった。
以上の結果から考察を述べる。
表 5.11: マッチング結果(Harrisオペレータのみ) 1枚目 2枚目 類似度 閾値による判定結果
13 11 0 ○
15 21 0 ○
16 23 0.222045 ○
18 12 0.222045 ○
19 16 0.222045 ○
6 31 0.314018 ○
17 9 0.314018 ○
24 31 0.384593 ○
3 9 0.444089 ×
9 25 0.444089 ×
14 21 0.444089 ×
20 22 0.444089 ×
7 4 0.496507 ×
22 7 0.555112 ×
8 15 0.628037 ×
23 27 0.666134 ×
10 4 0.915513 ×
21 14 0.993014 ×
25 21 0.993014 ×
28 18 1.11022 ×
12 14 1.79018 ×
2 19 2.03507 ×
27 1 2.39149 ×
5 33 4.18953 ×
11 20 5.0243 ×
4 20 9.56597 ×
26 2 63.081 ×
1 17 1265.5 ×
表 5.12: マッチング結果(直線検出併用) 1枚目 2枚目 類似度 閾値による判定結果
15 21 0 ○
16 21 1.08779 ×
• 提案した直線検出を併用することで、明らかに角と関係ない位置の特徴点を除外 することができた。
• 直線検出の精度が悪く、正しく角を検出しているにも関わらず除外されてしまう 特徴点が数多く見られた。これには、実験で写したモータは、自然特徴点検出に適 した角や直線を多く含むが、塗料の影響で光の影響を受けやすいためであり、照 明状態によってマッチング結果が変化することを示唆している。
• 直線検出は、多くの計算負荷がかかり、リアルタイムでの利用は困難である。