全方位カメラを用いたStructure from Motionによ る3次元環境モデリング

全方位カメラを用いたStructure from Motionによ る3次元環境モデリング

著者 川西 亮輔

発行年 2012‑01

出版者 静岡大学

URL http://doi.org/10.14945/00007481

平成 23年 度

静 岡 大 学   ^{博 士 論 文}

全方位カメラを用 いた Structure from Motionに よる

3次 _{元環境モデ リング}

静岡大学 倉 J造 科学技術大学院 自然科学系教育部 情報科学専攻

学籍番号 5594‑5016 川 西 亮輔

指導教員 金子 透 教授

2012年 1月

Copyright o 2012 KAWANISⅢ _,Ryosuke

AI斑

ghts Rescrved

審査委員 三浦 憲二郎 教授

(主   ^査

⁾

金子 透 教授 海老澤 嘉伸 教授

川田 善正 教授

山下 淳 准教授

和 文 要 旨

自律的に活動す る移動 ロボッ トの導入が様々なシーンで望 まれてお り

,研

究が盛 んに行われている。移動ロボ ッ トが 自律的に活動する際 に重要な機能 として

,周

囲環境 の地図生成 と

,地

図中での位置 と姿勢の推定が挙 げ られ る

.本

研究では,

移動 ロボッ トに搭載 された

1台

のカメラで撮影 された動画像のみを用 いて

,周

囲 環境の地図 となる

3次

元モデルの生成およびカメラの位置 と姿勢 (以下

,カ

メラ 運動 と呼ぶ

)の

推定 を行 うことを目的 とす る

.ロ

ボ ッ トに搭載 したカメラの運動 推定は

,ロ

ボ ッ トの位置 と姿勢の推定 と同義である

.本

研究では動画像 を取得す るカメラとして

,双

曲面 ミラーの反射 を利用 した全方位 カメラを用 いる

.全

方位 カメラは ミラーの軸周 り

360度

の視野 を有 してお り

,カ

メラ運動推定お よび環境 計測 に有効である^.

動画像中の被写体の

3次

元計測および撮影 中のカメラ運動推定 を同時に行 う技 術 は Structre ttom Motion(駈

M)と

呼ばれてお り

,本

研究 もこの枠組みに含 ま れ る

.SfMは

一般 に

,以

下の手順 に従 う^.

1)動

画像 中か ら特徴 を抽出

,そ

れ らを画像間で対応付 け^,

2)画

像間の特徴 の対応関係か らカメラ運動 を推定 し,

3)推

定 されたカメラ運動 を用 いて特徴の

3次

元計測 を行 う^.

用 いる特徴やカメラ運動を推定す る手法は

,そ

の研究の 目的によって様々であ るが

,本

研究では人工物が存在す る環境下で活動す る移動 ロボッ トを前提 とした 手法を提案する。特徴の対応付 けの信頼性が低 い とカメラ運動の推定結果の信頼 性 も保証 されないため

,特

徴 の対応付 けは 鋭

Mに

とって非常 に重要な問題であ る

.絣 Mに

基づ く手法は数多 く提案 されているが

,そ

れ らの多 くは動画像 中に,

容易 に対応付 け可能な特徴が多数存在す ることを前提 としている

.し

^{か し}

,自

律 移動 ロボ ッ トの導入が期待 され る多 くの屋 内環境で は

,廊

下 に代表 され るよ う な

,色

合い変化 に乏 しく平坦な形状の物体で構成 され る場所が少な くない

.そ

^の

ような環境では特徴 の対応付 けは容易ではな く

,抽

出可能 な特徴 の数 も少ない^. そのため

,従

来手法では精度良 くカメラ運動 を推定す ることが困難である。

また

,一

般 にカメラ運動推定 は自由度の高い非線型問題である

.多

くの従来手 法では線型解法 によって初期解 を算出 し

,非

線型最適化手法の適用 によ り誤差 を 最小化することでカメラ運動 を推定 している

.し

か し推定すべ きカメラ運動のパ ラメータは

,カ

メラの視点数

nに

_{対 して}

(6n‑1)自

由度 と非常 に多 く

,推

定の 過程で局所解 に陥 る問題 を避 けることは困難である^.

11

そこで本研究では

,屋

内

,屋

外 にかかわ らず人工物が存在す る環境下 において 広 く適用可能 な

SfM手

法 を提案す る

.提

案手法で は

,主

に用 いる特徴 として直 線 を採用 す る

.直

線 は人工物が存在す る環境下で は有効 な特徴である

.さ

らに,

直線の中で も互 いに平行 になる直線 ^(平行線

)を

検出 し

,平

行線か ら得 られ る拘 束条件 を利用す ることで

,カ

メラ運動推定の自由度を大 き く削減 し

,局

所解 に陥 る問題 を解決す る。推定 されたカメラ運動お よび画像 中の特徴 を用 いて環境 を³ 次元計測 し

,計

測結果か ら環境 の

3次

元モデルを生成 す る

.提

案手法の有効性

を

,実

際 に移動 ロボッ トを走行 させて取得 した動画像 を用いて検証す る^.

第

1章

では

,本

研究の背景や重要性 について述べ る

.そ

れ らを受 けて本研究の 目的を述べ る。 ここでは

,本

論文の用語の定義や

3次

元環境モデ リングの処理の 手順 について も述べ る^.

第

2章

では

,本

研究で用 いる全方位カメラについて述べ る

.全

方位カメラの構 成や

,カ

メラ座標系の定義

,カ

メラの内部パ ラメータや双曲面 ミラーのパ ラメー

タのキヤリブレーシ ョン手法な どについて説明す る。

第

3章

では

,特

徴追跡 について述べ る

.提

案手法では

,画

像中か ら点 と直線の

2つ

_{の特徴 を抽出 し}

,画

像列 に沿 つて追跡す る

.点

と直線のそれぞれの追跡手法 について説明す る

.ま

た

,直

線の中で も

,互

^{いに平行である直線 (平行線}

)を

検 出す る手法 について も説明す る

.実

際 に取得 した動画像 を用 いた実験 を行 い

,提

案手法の有効性 を確認す る^.

第

4章

では,Structllre ttom Motion(絣

M)に

ついて述べ る

.ま

ず 絣

Mに

おけ る標準的なカメラ運動推定の手法について概説す る。次 に本研究で提案す る平行 線の拘束条件 を利用 したカメラ運動推定手法 を説明す る

.カ

メラ運動 と同時 に,

画像特徴 (特徴点 と直線

)の ^3次

元位置お よび姿勢 も推定 され る

.こ

^こでは

,推

定 されたカメラ運動 を用 いて

,直

線以外のエ ッジ点を

3次

元計測す る手法 につい て も説明す る

.シ

ミュレーシ ョン実験 によって

,カ

メラ運動推定の結果 を

,提

案 手法 と標準的な手法 とで比較す る。 また

,テ

クスチ ャの少ない環境 を実際に撮影

した画像 を用 いた実験 も行 う。

第

5章

では

,計

測結果か ら環境の

3次

元モデルを生成 す る手法 について述べ る

.シ

ミュレーシ ョン画像 お よび実画像 を用 いて

,3次

元 モデルの生成実験 を 行 う.

第

6章

では

,各

章の総括

,今

後の課題及 び展望について述べ る^.

Outilne of Thesis

Map information

is

important for path planning and selfJocalization when mobile robots execute autonomous tasks. In this thesis,

I

propose a method of 3D environ- ment mapping based on Structure from Motion by using an omnidirectional camera.

An

omnidirectional camera is efEcient for map construction because

it

has a wide fleld

of view. Structue from Motion

is a framework

of

camera movement estima- tion and object measurement. However, camera movement estimation is a nonlinear problem which has large degrees of freedom. In order to estimate camera movement e{ficiently, the proposed method utilizes parallel lines. The constraint provided

from

parallel lines reduces degree

of

freedom

of

camera movement estimation. Parallel lines in an omnidirectional video are obtained by the proposed line tracking method.

By

using estimated camera movement and

point

and line measurement data, a 3D model is constructed as the environment map. Experimental results show the effec- tiveness

ofthe

proposed method.

Chapter 1 provides motivation, background and purpose of the study.

Chapter 2 details an omnidirectional camera. The composition, a camera coordi- nate system and calibration method are given.

Chapter 3 details feature tracking method. Feature

point

tracking,

line

tracking and the detection method

ofparallel

lines are given.

Chapter

4

details the theory

of

Structure

from Motion. This

chapter compares experimental results

of

the proposed method which utilizes parallel lines

with

that of the classic approach.

Chapter 5 details the proposed method of 3D model construction.

Chapter 6 concludes the research, provides a summary

ofkey

findings, and gives suggestions for future research.

和文要 旨

Outilne of Thesis 第

1章

11

1.2

13 14 15

第

2章 21

22 23

24 25

2.6 2.7

111

1

1

17 18 21

22

23 23

24

26

26

27

29

31 35 37 37 39

41

44

序論

研究背景 研究 目的 画像特徴 を指す

3次

元環境モデ 本論文の構成

用語の定義

リングの処理 の流れ

双由面 ミラーを利用 した全方位 カメラ 概 要

本研究で用 い る全方位 カメラ カメ ラに装着す る双 曲面 ミラー

2.3.1 

_{双曲面 ミラーの構成}

232 

双曲面 ミラーの幾何学 的特性 全方位 カメ ラの視野範 囲

全方位カメ ラ座標系

全方位画像 のパ ノラマ展 開

全方位 カメ ラのキャ リブレーシ ョン

271 

カメ ラ本体 の内部パ ラメータ

27.2 

カメ ラ本体 の内部パ ラメータの推定結果

2.73 

双 曲面 ミラーの形 状パ ラメー タお よび全 方位画像 中心 の 推定手法

274 

双 曲面 ミラ 推定結果

―の形状パ ラメー タお よび全方位画像 中心 の

目次

目次

第

3章 31

32

33 34 35

全方位画像 中の特徴抽出および追跡

47

47

51 51 52 53 56 58 66 特徴点の抽 出 と追跡

直線 の抽出 と追跡

321 

^{エ ッジ点群の分離に}

322 

エ ッジセグメン トの

323 

直線の画像間の対応 直線群か らの平行線検 出

よるエッジセグメントの抽出

直線判定

付 け

実画像 を用 いた特徴追跡実験 特徴追跡手法の今後 の課題

第

4章  Structure from Mo● on      67

41  

カメラ運動 と座標系の定義

 

… … … …

 67

42  

基本 的なカメラ運動推定手法

 

… … … …

  72

421 

概要

 

… 72 72 75 76 78 79

431 

概要

 

… … … …

  79

432 

特徴 点を結んだ擬似直線 の作成

 

… … … …

 80

433 

消失点ベ ク トルの方 向合 わせ

 

… … … …

  84

434 

消失点ベ ク トルを軸 とす る回転運動推定

 

… … …

 

_…

 86

435 

平行線 に対 して垂直 な平面上の並進運動推定

 

_{… … …}

  99

436 

平行線 に沿 つた方 向の並進運動推定

  

… … … … …

 102

直線 を示す

3次

元点群の生成

.…

… … … ・ … 105

エ ッジ点の

3次

元計測

 

… … … 106

451 

概要

 

… … … …

 

_{… … …}

 

_{… … …}

 

_{… 106}

452 

エ ッジ点の

3次

元計測手法

 

… … … 107

46  

カメ ラ運動推定お よび

3次

元計測実験

 

… … …

 

_{… …}

 

_…

・ ¹

461 

アウ トライ ア判定 にお け るデー タの信頼性 に基 づ く重 み

付 けの効果検証実験 111

462 

提案手法 と従来手法 の比較実験

 

_…

 

_{… … … … …}

 H4 463 

テ クスチ ヤの少 ない屋 内環境 でのカメ ラ運動推定 お よび

422 8点

法 による

2視

点のカメ ラ運動推定

 

… … … … …

423 RANSACに

よるアウ トライア除去

 

_{… … … …}

.…

424 

バ ン ドル調整 による誤差 の最小化

 

… … … …

425 

従来のカメ ラ運動推定手法の問題 点

  

_{… … … …}

 

_…

43  

平行線 を利用 したカメ ラ運動推定手法

 

… … … …

44

4.5

3次

元計測実験

 

_… ¹²²

Vu

4.6.4 

屋外環境でのカメ ラ運動推定お よび

3次

元計測実験

 ̲.124

47  

カメ ラ運動推定 の今後 の課題

.…

… … … …

 126

第

5章  3次

元計測点群か らのテクスチャ付 き

3次

元モデル生成

    127

51  3次

元 ドロネー分割 による三角網 の構築

 

… … … ・ 127

52  

三角網へのテ クスチ ャマ ッピング

.…

… … … 133

5.3  3次

元モデル生成実験

 

_{… … …}

 

… … … 137

531 

シ ミュレーシ ョン画像 を用 いた

3次

元 モデル生成実験

 .137 5.3.2 

テ クスチ ャの少ない屋 内環境 の

3次

元 モデル生成実験

 ..139

533 

屋外環境の

3次

元 モデル生成実験

.…

_{… … … … …}

 142

5.4  3次

元モデル生成 の今後 の課題

 

… … … 145

第

6章  

結論 と今後 の展望

      147

61  

_結論

 

… … … ・ … … … …

 147

6.2  

今後 の展望

.… .…

_{… … … … …}

 

… … … ・ 148

謝辞

      149

参考文献

       151

研究業績

      159

図 目次

11

1.2

13 14 15 16

1.7

18 19 110

1.11

112 113 21

22

2.3

24 25 26 27 28

2.9

210 211

2.12

ロボ ッ トに搭載 基線長 の違 いに ステ レオ計測 と 広視野 カメ ラ

され るセ ンサの例 よるステ レオ計測の誤差 共通視野

魚眼カメ ラ と全方位 カメラの視野 の違 い 視点変化 と対応付 け

テ クスチ ャレス環境 の例 (屋内

,廊

^下)

本研究で用 いる双曲面 ミラーの例 曲線 として投影 され る直線の例 各特徴の関係

各特徴 の例 処理 の流れ 本論文 の構成

双曲面 ミラーによる全方位 カメラの模式図 本研究で用 いる全方位 カメ ラ

本研究で用 いる全方位 カメ ラ搭載移動 ロボ ッ ト 双曲面 ミラーの分解図

二葉回転双曲面の例

2つ

の焦点 と光の経路

ミラー形状 と仰角側 の視野範 囲の関係

全方位カメラの視野範囲 と双曲面 ミラーの形状の関係 カメ ラ座標系

全方位 カメ ラ座標系 球面座標系

・ Ⅸ

1

7 9 10 11 12 13 14 15 19 20 21

22

23

24

25 26 27

28

29

30 31 33 35 パ ノラマ画像 36

図 目次

213 214

2.15 2.16

217

2.18

219

3.1

32 33

3.4 3.5 3.6

37

3.8

39

3.10 4.1

42

4.3

44

4.5 4.6 4.7 4.8

49

4.10 4.11 4.12 4.13

414

4.15

416

歪曲収差の影響

カメラ本体のキヤリブレーシ ョンに用 いるチェックパ ターン カメラ本体のキヤリブレーシ ョンに用 いた入力画像

 .…

^.

キャ リブレーシ ョンに用 い る直線パ ター ン

2D曲

線 として投影 された

3D直

線の例

3D直

線 とミラー焦点を含む平面

全方位 カメ ラのキヤ リブレーシ ョンに用 いた入力画像 画像 の階層 的表現 を用 いた特徴点の探索

エ ッジセ グメン トの抽 出 直線の画像間の対応付 けの流れ 直線追跡 の実験環境

特徴点追跡の結果 ^(廊下)

直線追跡の結果 ^(廊下)

平行線検出の結果 ^(廊下)

特徴点追跡の結果 (部屋)

直線追跡の結果 ^(部屋)

平行線検出の結果 (部屋⁾

世界座標系 とカメラ座標系の関係

 .…

… … … …

2視

点 にお ける座標間の関係

 ̲…

…

.…

_{… … … … …}

直線 フィ ッテ イングの例

 

_{… … … …}

.…

・ … … … … ・ 再投影誤差

 

… … … ・ … … … … … 本 手法のカメラ運動推定 の手順

  

… … … ・ 特徴 の少 ない環境の例

 

… … … ・ … … …

2つ

の特徴 点の距離 と擬似直線 の誤差 の関係

 

_…

.…

_{… …}

作成 された擬似直線 。… …

 

… … … ・ … … … … 消失点ベ ク トルの方 向の一致

.…

… … … ・ … 回転角の算 出

 .…

… … … ・ … … … … 未知の回転成分

 

… … … …

3つ

の平面の交線

 

… … … ・ 理想的でない条件 とな る環境の例 (屋内

,通

路

).…  

…

 

_…

点群 のば らつ きに対す る分布 の広が りと直線 の推定誤差

.…

_…

回転運動推定の手順

.…

_…

 

… … … ・ ― ― ・ … … … ・ 視線ベ ク トル と消失点ベ ク トル と平行線 の法線 ベ ク トルの関係

 .

38 39

40

42

42

43 45

49

52 54 58 60 61

62

63 64 65 68

70

75

77

80 81 81 83 84 85 86 88 91 92

94

95

417

418

4.19 4.20

421 422 423

4.24

425 426

4.27

428 429 430

4.31

432

433 434 435 436 51

5.2

53 54 55 56 57 58

5.9 5.10 5.11

Xl

視線 ベ ク 動の関係

トル と平行線 の

3次

元位置ベ ク トル と平面上の並進運

並進方 向 と正常 な

3次

元計測結果 並進方向 と正常な範囲の境界

限定 された探索範囲での評価値 の傾 向

平行線 に対 して垂直 な平面上の並進運動

.…

_{… … … … …}

.100

直線 の再投影誤差

 

… … … ・・ …

 103

エ ッジ点の

3次

元計測の手順

 

… … …

 107

ピンホール カメ ラモデル にお け るエ ピポー ラ線 と

3Dエ

ッジ点 の投影

.…

… … … ・ … … … 108 エ ピポー ラ拘束 による対応 エ ッジ点探索

 

… … … …

 109

検証実験 を行 つた環境 と入力画像

.…

_{… …}

 

_{… …}

 

_{… …}

Hl

重み付 けを行 った場合 と行 わなかった場合 のカメ ラ運動推定結果 112 シ ミュレーシ ョン画像 の作成

 

… … …

 

■4 カメラ運動推定の比較実験環境

  

… … … …

 H5

カメラ運動推定結果 の比較

.…

… … …

H7

よ り長 い距離でのカメラ運動推定結果 の比較

 

_…

.…

_…

.… H9

シ ミュレーシ ョン実験 にお けるカメ ラ運動推定 お よび

3次

元計 測結果

 

_…

 

… … … …

 

… … …

 121

実験 を行 った屋 内環境 と入力画像

 

… … … 122 屋 内環境 におけるカメ ラ運動推定 お よび

3次

元計測結果

 

_{… … 123}

実験 を行 つた屋外環境 と入力画像

.…

_{… …}

 

… … … … ・ 124 屋 内環境 におけるカメラ運動推定お よび

3次

元計測結果

 

_{… … 125}

ドロネー分割

(2次

元)

６   ７   ７   ８ ９   ９   ９   ９

観測点 と可視点の間の三角錐

 

… … … … 距離の

2乗

に反比例 す る

3角

形 メ ッシ ュ面積

 

_{… … … … …}

cosφ に比例す る

3角

_{形 メ ッシュ面積}

 

… … … … 全方位画像か ら作成 したテクスチャの例

 

… … … ・ テクスチャ算出

.…

… … … … シ ミュレーシ ョン環境の

3次

元モデル生成結果

 

_{… … … …}

シ ミュレーシ ョン実験 における

3次

元環境モデル生成結果

.…

^.

3次

_{元モデル生成 の環境 (屋}内

,廊

下

) 

… … … … 生成 された三角網 (屋内

,廊

下)

128 130 133 134 135 136 137 138 139 140 生成 された

3次

元環境モデル (屋内

,廊

下) 141

図 目次

3次

元 モ デル生成 の環 境 (屋外)

5.12

513 514

生成 された三角網 (屋外)

生成 された

3次

元環境モデル (屋外)

142 143 144

¨ｎ コ・

特徴 の定義

推定す るカメラの内部パ ラメー タ カメ ラ本体 のキャリブレーシ ョン結果 推定す る全方位 カメラのパ ラメータ 全方位 カメ ラのキヤ リブレーシ ョン結果

表 目次

11

2.1 2.2 2.3 2.4

41  

カメ ラ運動推定の結果

 

… … … ・ …

 

■8

42  

よ り長 い距離でのカメ ラ運動推定の結果 。… … … …

 120

18

37

40

41

44

第 1章

序 論

1。

1  研 究背景

ロボ ッ ト技術 の発達 によ り

,自

律 的 に活動 す る移動 ロボ ッ トの

,様

^{々な場面ヘ}

の導入が期待 されてい る

.自

律移動 ロボ ッ トの用途 としては

,人

間 に とって危険 な場所 (災害現場や原子炉 内部 な ど

)で

の作業や

,工

場やオ フィス

,公

共施設で の物品の運搬や整頓 な どが考 え られ る。

移動 ロボ ッ トが 自律 的 に活動す るためには

,活

^{動環境 の地図 と}

,地

図中での ロ ボ ッ ト自身の位置 と姿勢 (以下

,自

己位置 と呼ぶ

)を

推定す る機能が必要で ある。

環境 中に存在 す る物体 の配置が全 く変化 しない前提であれば

,ロ

ボ ッ トにあ らか じめ地図 を与 え ることがで きる。 この場合

,ロ

ボ ッ トに搭載 されたセ ンサ によっ て得 られ る現在地での情報 (例えば レーザスキャナ (図 1.1(a))で 取得 した レン ジデー タや カメ ラ (図 1.1(b))で 取得 した画像

)を ,与

え られた地図 と照合 す る こ とで

,自

己位置 の推定が可能であ る。

(a)レーザスキャナ 図^1。

1ロ

ボ ッ

(b)カ メ ラ トに搭 載 され るセ ンサ の例

̲L曲

2  

第

1章  

^序論

しか し

,活

動環境が全 く変化 しない とい う仮定が成 り立たない環境 も多数存在 す る

.活

動環境の変化 に応 じて地図の構築や更新 を人手で行 うことが考 えられ る が

,こ

れには多 くの手間がかか る

.そ

^のため

,ロ

ボ ッ ト自身が活動環境 をセンシ

ング して地図を生成 す る機能 を持つ ことが望 まれ る

.未

知環境 を前提 とす る場 合

,ロ

ボ ッ ト自身がセンシングを行 つて環境の地図を生成す るためには自己位置 を知 る必要があるが

, 

自己位置を知 るためには地図が必要である

.す

なわち

,地

図 と自己位置 を同時に推定す る問題 を解 く必要がある^.

地 図生成 と移動 ロボ ッ トの 自己位置推定 には

,さ

まざまなセ ンサが利用 され る

.代

表的な ものに^,

(a)レーザスキャナ,

(b)カ メラ,

(o複

数のセンサによるセンサフュージョン^,

がある

.以

降では

,そ

れぞれのセ ンサによる従来手法や

,セ

ンサの利点 と欠点を 簡単 に説明す る^.

(→ レーザスキャナ

レーザスキャナを用 いた

,地

図生成 と自己位置推定の従来研究 としては

,ICP

アル ゴ リズム_[Besl'92]な どで レンジデー タの位置合 わせ をす るこ とに よ リロ ボ ッ トの 自己位置 を推定す るとともに地図を生成す る手法 [Li'11][MilStCh'11]

や

,確

率 に基づ き観測 データ (こ の場合 はレーザスキヤナによって取得 した レ ンジデータ

)か

らロボ ッ トの状態 (位置 と姿勢

)を

推定す る手法 (ShultaneOus

Localization and Mapphg(SLAM)と

呼 ばれ る

)が

ある

[Lconard'91].SLAM

には様 々 な手法 が提案 されてお り,Rao―^Blackwcl五zed Particle Filterを用 いた

SLAM(RBPF‐ SLAM)[msc饉 yZ'05],GraphSLAM[Car10ne'11]lKonolige'11]

[Yang'11]な どがある^.

レーザ スキ ャナ による計減1では

,対

象が鏡面反射 を起 こす物体 で なけれ ば,

time of iight方式な どによってセ ンサー対象間の絶対距離 を安定 して取得で きる とい う利点がある

.異

なる地点間で取得 したレンジデータの位置合わせ を正確 に 行 うことで

,正

確 な地図の生成 とロボ ッ トの 自己位置推定が実現で きる

.し

^か

し

, 

レンジデータの位置合わせが容易でない環境 も少なか らず存在す るため

, 

^自 己位置推定が不安定 になることがある^.

1.1 研究背景

SLAMは _,単

純 な位置合 わせ に よる手法 と比べ て ロバ ス ト性 が高 いが

,非

線 型であるロボ ッ トの位置 と姿勢 を線形近似 した運動モデルか ら予測す るこ とを繰 り返すな どの原 因か ら

,誤

差が累積 しやすい とい う問題が ある

.GraphSLAMは

評価 関数 を最小化 す るこ とで

,地

図生成 と自己位置推定 を行 う非線型最適化 アプ ローチで ある

.こ

の手法で は誤差の累積 を低減す ることが可能で あるが

,最

^小化

の過程で局所解 に陥 る問題 を完全 に防 く゛

こ とは困難であ る^.

また

, 

レーザスキャナを用 いた手法で は

,ロ

^{ボ ッ トの移動が} (多 くの場合

,生

成 され る地図 も

)2次

元平面上 に限定 され ることが ほ とん どであ る。 ロボ ッ トの

3次

元運動 を推定 す るためには

,3次

元 の レンジデー タが必要 で あ る。 しか し,

レーザスキャナで

3次

元 レンジデー タを取得す るためには レーザ光 を反射 させ る ミラーを動か して (あ るいはレーザスキャナ自体 を回転 させ るな どして

)空

間 を スキャンす る必要が あ り

,2次

元 のスキャン と比べ膨大 な時間がかか る^.

また

,離

れた位置で取得 した

3次

元 レンジデータ間の対応付 け手法が確立 され ていない ことも問題 の

1つ

として挙 げ られ る

.カ

メ ラを用 いた場合 には

,異

^{な る}

位置で撮影 された画像 間の対応付 け手法が確立 されてい るため

,対

^{応付 け情報か}

らカメラの位置や姿勢の関係 を高速 に推定す るこ とが可能であ り (カメ ラを用 い た手法 に関 して は

,以

降で詳 し く述べ る

),ロ

ボ ッ トの

3次

元運動が問題 とな ら ない ことが多 い

.し

^{か し}

,3次

元 レンジデータ間の対応付 けが困難で あるこ とか

ら

,レ

ーザスキ ャナのみを用 いて ロボ ッ トの

3次

元運動 を推定す ることは困難で あ る.

ロボ ッ トの位 置 と姿勢 のパ ラメー タを全探索 的 に推定 す るこ とも考 え られ る が

,2地

点間での位置 と姿勢のパ ラメー タは

6自

由度 あ るため

, 

これ を全探索的 に推定す るには膨大 な時間がかか る

.以

上 の理 由か ら

,3次

元 レンジデー タ同士 を直接 的に位置合 わせ す るので はな く

, 

レーザスキャナ以外のセ ンサか らレンジ データを取得 した ときの ロボ ッ トの位置 と姿勢 の情報 を取得 す るこ とが現実 的で あ る

.こ

の従来研 究 として

,互

いの位 置関係 の情報 を取得 可能 なセ ンサ を搭載 した親 ロボ ッ トと子 ロボ ッ トに よる

3次

元 モ デ リングの手法が提案 されて い る [Kllrazulne'09].

4  

第

1章  

序論 (b)カ メラ

カメ ラを用 いた手法で は

,撮

影 中のカメ ラの位置 と姿勢 の変化 (以下

,カ

^メ

ラ運 動 と呼ぶ

)を

推定 す るこ とが移 動 ロボ ッ トの 自己位 置推 定 と同義 で あ る^. カメ ラを用 いた従 来研 究 として は

,レ

ーザ スキ ャナ と同様 に確 率 に基づ く手法

(VIsual sLAM(vSLAM)と

^{呼 ばれ る})[Davison'07][HsiaO'11]を ^{適用 した もの} と

,カ

メ ラ運動 を確定的 に推定 す る手法

(Smcture bm Motion(SNl)と

^{呼 ば}

れ る

)[Rachmielowsk'06][Tykkala'11]に

^{大別 され る.}

vSLAMは

リアル タイム性 を重視 してい るこ とが多 く

,処

理速度 の速 さが利点 の一つで ある。 しか し

,一

度 に観測す るラン ドマー ク (画像 間の対応付 けが容易 な点 (特徴 点

)な

^ど

)の

数が多 い と処理時間が膨大 にな るこ とは避 け られないた め

, 

リアル タイム性 の確保 のた めにはラン ドマー ク数 を少 な くす る必要 が あ る^. その結果

,疎

^{な点群 (数メー トル四方 の}

^3次

元空間中に数点〜数十点程度

)の

^み

で構成 され る地 図 しか生成で きない

.た

^{だ し}

,ス

テ レオカメ ラを含 め

,複

数 のセ ンサ を組 み合 わせ た場合 は この限 りで はない^.

一方

,SfMは

^{計算処理 上}

,SLAMと

比べて多数 の ラン ドマー クを扱 うのが容 易 で あ る。 そのため

,SLAMと

^{比べて密 な点群 (数メー トル四方 の}

^3次

^元空間

中に数千点〜数万点

)で

構成 され る地図が生成 で きる

.ま

^た

,非

線型最適化 アプ ローチを適用 しやすい ことか ら

,カ

メ ラ運動推定お よび

3次

元計測 の精度 に関 し て も

SLAMと

比べて有利で あ る といわれ る^.

一般 にカメラを用 い る手法では

,画

像間で対応付 けた特徴 (例えば点や直線)を 三角測量 によって計測す る

.特

徴 の対応付 け手法 として様 々な手法が提案 されて

い るが

(KLTト

ラッカ

[Sh'94],SIFT特

^徴量

[Lmc'04],SIIRF特

^徴量

^pay'06]

な ど

),画

像 間での厳密 な対応付 けは困難 で

,必

^{ず誤差 が生 じる。}

 

^{この ときに生}

じる誤差 は

,必

ず しもガ ウス分布 に従 わないため

,多

数 のデータを用 いて も誤差 の累積 は避 け られない。 したが つて

,Ime of■

ight方 式で計測が可能 な レーザス キヤナ と比べ る と

,計

測 の精度や安定性の面 で不利であ る^.

ただ し

,空

間 をスキヤンす る必要のあ るレーザスキヤナ と比べ

,カ

^{メ ラは短 い}

時間で周囲の色情報 を

2次

元 の画像 として取得可能であ る

.ま

^た

,レ

^{ーザ スキャ}

ナのみを用 いて ロボ ッ トの

3次

元運動 を推定す る手法が確立 されていないのに対 し

,複

数枚 の画像か らカメラの

3次

元運動 を推定す る基礎 的な理論 はすで に確立 されてい る

.そ

^{のた め}

,ロ

^{ボ ッ トの移動が}

2次

元平面上 に限定 され ない こ とが^, カメ ラを用 いた手法 の大 きな利点の

1つ

である (ただ し

,問

題 を簡単 にす るため に

2次

元平面上の運動 に限定す る手法 も多数存在す る[Scaralrluzza'08]).

1.1  研究背景

  5

画像情報 のみか らカメ ラの

3次

元運 動 を推定 す る手法 として は

,2枚

の画像 間で点の対応 が最低

8組

得 られれ ば撮影 した

2視

点間のカメ ラ運動 を推定可能 な

8点

法 [Hartley'97al,近 似 カメ ラモデル を用 い るこ とで複 数視 点のカ メ ラ運 動 を推定可能 な因子分解 法 [PocLnan'97],そ の他 に も トリフォーカルテ ンソル

[HartlCy'97b][Tor'97],5点

法 [Nister'04]な どが提案 されて い る。

3次

元運 動 を推定 す るこ とが比較 的容易 で あ る とい う利点 か ら

,カ

メ ラを用 いてヘ リコプ ターな どの空 中ロボ ッ トの 自己位置推定 をす る研究が行 われて い る[IIrabar'o3]

[Lee'11].ま^た

,配

管 内の検査 [HallSCn'H]や内視鏡 [Grasa'11]の ような用途 に も応用 されてお り

,カ

メ ラを用 いた手法 は汎用 性が高 い といえる。

さらに

,対

象物の

3次

元形状が得 られ るだけでな く

,色

情報 を利用 した物体認 識 (エ ッジ方向特徴 による物体認識 [Miko珂 昭沐

'03],HOG特

_{徴量 による人検}

出[Danal'05]な ど

)と

の併用 による

, 

よ り高度なロボ ッ トの知能化 システムが,

カメラのみで実現で きるとい う利点 もある[TomonCl'09].

(c)センサフュージョン

複 数 の セ ンサ を用 い た セ ンサ フ ュー ジ ョン に よ る手 法 も数 多 く存 在 す る

.カ

メ ラ と超 音波 [Wci'98],カ メ ラ とオ ドメ トリ[Karlsson'05],カ メ ラ と

GPS[McrO'05b][Pollefeys'08],レ

ーザ スキャナ と

GPSと

ジ ャイ ロセ ンサ

[SW」

^ご

10],レ

ーザスキャナ とカメラ

「

Jeong'11],レ ーザスキャナ とカメラと

GPS[MegurO'05alな

ど

, 

さまざまな組み合わせが提案 されている^.

セ ンサ フュージ ョンによる手法は

,互

いのセ ンサの欠点を補い合 うことで

,安

定 して高精度な地図生成 とロボ ッ トの自己位置推定を可能 とす る。 しか し

,シ

^ス

テムの複雑 さが増す ことや

,ロ

ボッ トの構成が大型化す る

,高

価 なセ ンサを複数 搭載する必要があるな どの問題がある。 また

,GPSの

ように屋内では使 えないセ ンサがあるな ど

,常

にすべてのセ ンサが利用可能 なわけではない

.し

^たがって,

個々のセ ンサによるセ ンシング技術の向上は重要 な課題である^.

以上の ことか ら

,本

研究では

,比

較的安価で汎用性の高いカメラを用 いて

,地

図生成 とロボ ッ トの自己位置推定を実現す ることを目指す

.以

降では

,カ

^メラを

用 いた手法 をさらに詳組 に比較す る^.

6  

第

1章  

序論

まず

,用

い るカメラの台数 に関 して議論す る^.

カメ ラを用 いた手法で は

,異

な る位置で撮影 された

,少

な くとも

2枚

の画像 間 で対応 した特徴 (点あるいは直線

)を

^{取得 し}

,画

像 を撮影 した視点間のカメラの 位置 と姿勢の関係か ら特徴 の

3次

元位置 を計測 す る

.こ

れ は一般 にステ レオ計測 と呼 ばれ

,三

角測量の原理 に基づ いてい る

.ス

テ レオ計測の手法 は

,用

^{い るカメ}

ラの台数か ら,

(1)複数 のカメラを用 いる手法 ^(複眼ステ レオ法

), (2)1台

のカメラを用 いる手法 (単眼ステ レオ法

),

の

2つ

に大別 され る。本論文で は

,複

数のカメ ラを用 い る手法 を複 眼ステ レオ法 と呼ぶ

.1台

のカメ ラで撮影 した動画像か らカメ ラ運動 の推定 と被写体 の計測 を 行 う手法 は

,そ

^{の考 え方か ら}

vSLAMと SfMの 2つ

が存在 す るが

, 

^{ここで は,}

複 眼ステ レオ法 と対比 して

,1台

のカメ ラを用 い る手法 を単 限ステ レオ法 と総称 す るこ ととす る

.以

下で はそれ ぞれの方法 の利点 と欠点 を比較 す る^.

(1)複^{眼ステ レオ法}

複 眼ステ レオ法で は

,複

数のカメ ラの相互 の位置 と姿勢 を固定 し

,計

測の前 に あ らか じめカメ ラ間の関係 をキ ャリブレーシ ョンによって求めてお く

.各

^{カメ ラ}

で画像 を取得 して画像 間の対応 を とることで

,あ

らか じめ求めておいたカメ ラ間 の関係か らステ レオ計測が行 える^.

複 眼ステ レオ法 の利点 は

,キ

ャリブレーシ ョンにチ ェ ックパ ター ンな どの形状 が既知 で あ る物体 を利用 す るこ とで

,カ

メ ラ間 の関係 を精度 良 く推定 で きるこ

と

,お

よびステ レオカメ ラ自体 を動かす こ とな くその場で計測が行 える (すなわ ちロボ ッ トが移動す ることな く計測がで きる

)こ

とであ る。一方

.単

眼ステ レオ 法では

,3次

元計測 に必要 な

,異

な る位置で撮影 された画像 を取得す るためには^,

ロボ ッ トを移動 させ なければな らない。

1。

1 

研究背景 ただ し

,一

般 にステ レオ計測 は

,計

測対象 までの距離 に対 して十分 に長 い基線

(カ メ ラ間 を結ぶ線分

)が

得 られ ない場合

,計

測誤差 が増加 す る。 ステ レオ計測 で は

,位

置や姿勢 の関係 が分か つてい る

2つ

以上の視点か ら

,3次

^{元空間中で同}

一であ る点 な どを観測す る (すなわち

,画

像間の対応付 けをす る

)こ

^とで

,三

角 測量 に基づ き計測 を行 う。対応付 けに誤差が全 く生 じない場合 には

,基

線長 に関 わ らず計測誤差 は生 じないが

,異

な る視点で全 く誤差 な く対応付 けをす るのは困 難で あ る。 なぜ な ら

,1枚

の画像 か ら得 られ る情報 は

,画

素 ご とに量子化 された 離散的な輝度値 のみであ り

,単

純 に考 え る と

,対

応付 けの際 には最大で画素の半 分 の大 きさの誤差 が生 じるか らで あ る

.以

上の こ とか ら

,対

応付 け誤差 のため,

3次

元計測の奥行 き方 向の誤差 は

,基

線 が短 いほ ど大 き くな る (図 ^1.2)。

0予 想される計測誤差

(a)短 い基線 (b)長 い基線

図^1。

2基

線長 の違 いによるステ レオ計測の誤差

複 眼ステ レオ法 で は ロボ ッ ト上 に複 数 の カメ ラを固定 す るた め

,基

線長 はロ ボ ッ トの大 きさ以下 に限 られ る。 したが つて複 眼ステ レオ法で は

,ロ

^{ボ ッ トか ら}

遠 く離れた物体 を計測 す るのには適 さない。

複 眼ステ レオ法の従来研究 としては

,ス

テ レオカメ ラを用 いた地図生成 と自己 位置推定

[Lategahn'H]や ,視

野 の狭 さを克服 す るために

2台

の魚 眼カメ ラを用 いた手法 [NishimotO'07]や

2台

の全 方位 カメ ラを用 いた手法 (平面推定 に よる 自己位置推定

[CarOn'H]や

広範 囲の奥行 きマ ップの生成

[Labutov'H]な

^ど

)が

提案 されている。

島 島 島 島

8  

第

1章  

序論

a)単

^{眼ステ レオ法}

単眼ステ レオ法で は

,1台

のカメ ラを移動 させ ることで

,異

な る視点か らの画 像 を取得 す る。画像 中か ら抽出 した特徴 の画像 間での位置 の変化か ら

,撮

影 中の カメ ラの位置 と姿勢の変化 (カメラ運動

)と

特徴 の

3次

元位置 を推定す る。

単 眼ス テ レオ法 で は

1台

のカメ ラを移動 させ て画像 を取得 す るた め

,対

象物 までの距離 に応 じて基線長 を調整 で きる とい う利点が ある。ただ し

,(GPSな

^ど

の位置情報 を取得可能なセ ンサ を用 いない限 り

)撮

影 中のカメ ラ運動 は不明で あ るため

,画

像 か ら撮影 中のカメ ラ運動 を推定す る必要が ある

.そ

^のため

,同

じ条 件 (基線長や対象物 を撮影す る姿勢 な ど

)で

計測 を行 う場合

,キ

^{ャリブレーシ ョ}

ンによってカメ ラ間の関係 を精度良 く推定 す ることがで きる複 眼ステ レオ法 と比 べ

,単

眼ステ レオ法 は計測誤差が大 き くな る。

単 眼ステ レオ法の従来研究 として は

,基

線長 を自動的 に選択す る単 眼ステ レオ 法

[TomonO'05],動

画像 中の物体 の直線 を抽 出 し

,そ

の対応 関係か らカメ ラ運動 推定 と直線 の

3次

元計測 を行 う手法 [Bart011'05],ロ ボ ッ トに搭載 された

1台

の カメ ラで ラン ドマー クを観測す ることで複数 の同様 のロボ ッ トとの協調 を行 う手 法 [Leung'11]な どが提案 されてい る。

以上 を踏 まえ

,本

^{研究で は}

,計

測対象 の距離 によらない計測が可能であ る単 眼 ステ レオ法 を採用 す る

.未

知環境 を前提 とす る場合

,ロ

ボ ッ トか ら周囲の物体 ま での距離 も未知であ るため

,単

眼ステ レオ法が望 ま しい

.ま

^た

,単

眼ステ レオ法 の中で も

SfMに

よる手法 を採用 し

,精

度 の良いカメ ラ運動推定お よび

3次

元計 測 を 目指す^.

SfMは _,そ

の基礎的な理論 はすで に構築 されてお り

,さ

まざまな手法が提案 さ れてい るものの

,実

際 にロボ ッ トが取得 した動画像 に適用 す るためには

,い

くつ かの課題 を解決す る必要があ る。以降では 絣

Mの

課題 について議論 す る^.

1。

1 

研究背景

SfMの

解決すべ き課題 としては,

(α

)広

^{い視野 の確保,}

(β

)特

^{徴の対応付け,}

(0/pカメラ運動推定,

の

3つ

が挙げられ る。以降では上記の

3つ

の課題 とその解決策 について述べ る。

(α

)広

^{い視野の確保}

ステレオ計測では複数の画像間で共通 して写っている(共通視野内に存在する)

物体 しか計測で きない (図 ^1.3)。 一般的なカメラとレンズの構成では

,そ

の視野 は数十度であ り

,共

通視野はカメラ単体の視野 よりも狭 くなる

.広

い範囲の計測 が必要な周囲環境の地図生成のためには

,カ

メラの視野 は広い方が望 ましい。 ま た

,視

野が狭 いカメラよ りも視野が広いカメラの方がカメラ運動推定に有利であ ることが示 されている

[Gluchnan'98].広

視野カメラは

,SIM以

外にも

,広

い視 野が有効 となるナビゲーシ ョンや [Gaspar'00][Menegatti'04][Ramalingam'09],

3次

元モデル生成 [PrettO'11]な どにも用 いられ る。

図1.3ステ レオ計測 と共通視野

カメラ

A視

_野 カメラ

B視

_野

島

カメラ

A

島 却

共通視 野

10 第1章

 

^序論

広視野 カメ ラ として は

,魚

眼カメ ラ[Torii'08]や 全 方位 カメ ラ[Chang'00]な どが用 い られ る (図 ^1.4)。 全方位 カメラには

,複

数 のカメ ラを組 み合 わせ

,そ

れ ぞれのカメ ラで取得 した画像 をつ なぎ合 わせ るこ とによ リパ ノラマ画像 を得 るも の も存在 す るが [SatO'05],画像 間の対応付 けの問題 な どが あ る

.そ

^{のた め}

,一

般 的な視野 のカメ ラの先端 に曲面 ミラーを取 り付 けた全方位 カメ ラが多 く用 い ら れて い る。曲面 ミラー として は放物面 ミラー [Geyer'03]も し くは双 曲面 ミラー [BunSChOten'03]な どが用 い られ る。以降で は

,全

方位 カメ ラ とは曲面 ミラー を 利用 した ものを指 す こととす る。

(a)魚眼カメ ラ (b)全 方位 カメ ラ

(c)魚眼カメ ラ画像 (d)全 方位 カメ ラ画像 図^1。

4広

視野 カメラ

1。

1 

研究背景 魚 眼 カ メ ラや全 方位 カメ ラで は

,視

野 の広 さ自体 はほぼ同 じで あ り

,空

間全 体 の約 半分 を

1枚

の画像 に結像 す る

.し

^{か し}

,視

野 の範 囲 は それ ぞれ異 な る

(図 ^1.5)。 魚 眼カメ ラは

,カ

メ ラの光軸方 向 に対 して前方が視野範 囲で

,カ

^{メ ラ}

後方 は死角 にな る。全方位 カメ ラは

, 

ミラーの軸方 向に対 して垂直 な方 向の全周

360度

が視野範 囲 とな り

, 

ミラーの軸方 向はカメ ラに対 して前方後方 に関わ らず 死角 にな る。魚 眼カメ ラ

,全

方位 カメ ラ ともに画像 は円形 に歪 んで結像 され る。

以上の ことか ら

,魚

眼カメ ラは前方 を広 く見 る用途 に適 してお り

,全

方位 カメ ラ は周囲

360度

を見渡すの に適 してい る といえ る。

死 角

90度

   II11  90度

島

死 角

(a)魚眼カメ ラの視野

      (b)全

^{方位 カメ ラの視野}

図1.5魚眼カメ ラと全方位 カメ ラの視野 の違 い

魚眼カメ ラをロボ ッ ト上 に搭載す ることを考 える と

,魚

眼カメ ラ光軸 をロボ ッ ト前方 に向ける とロボ ッ トの後方が死角 とな り

,光

軸 を床面 に対 して上 に向ける と天丼 もしくは上空 を広 く撮影 して しまい

,カ

メ ラよ り下方が死角 とな る。 した が って

,魚

眼カメ ラはロボ ッ トに搭載す る用途 に適 さない。

一方

,全

方位 カメ ラの視野範 囲 はロボ ッ トの前後左右 を撮影可能で

,カ

^{メ ラの}

光軸方 向に対 して上下方 向の視野 も有 してい る。 そのため

,移

動 ロボ ッ ト上 に搭 載 す るこ とを前提 とす る広視野 カメ ラの研 究 で は

,全

方位 カメ ラが採用 され る ケースが多 い。本研究で は

,通

常の視野 のカメ ラの先端 に双曲面 ミラー を取 り付 けた全方位 カメ ラを用 い る。 同 じ曲面 ミラーで も

,放

物面 ミラーを用 い る全方位 カメ ラ と比べ

,双

曲面 ミラーを用 いる全方位 カメ ラは

,幾

何学的 に簡易で扱 いや すい ミラー焦点 を投影 中心 とす るカメ ラモデルが適用 で きる。 カメ ラモデルに関

しては第

2章

で よ り詳細 に述べ る。

︲ ８ ０ 度

 

一卜  

一

動

12 第 1章

 

序論

(β

)特 徴の対応付け

SfMで

は

,画

像 中か ら対応付 けが容易 な特徴 を抽 出 し

,動

画像 中で連続 して対 応 付 ける (追跡 す る

).特

徴 の対応付 け情報 か らカメ ラ運動 を推定 す るた め

,特

徴 の対応付 け誤差 が大 きい とカメ ラ運動推定 の誤差 も大 き くな る。 したが つて^, 特徴 の対応付 けは非常 に重要 な問題 で あ る^.

前述 の よ うに

,す

で に有用 な特徴 の対応付 け手法が提案 されて い る。

KLTト

ラ ッカ [Shi'94]は

,動

画像 中で隣 り合 う画像 間の変化 は十分 に小 さい と仮定 し て

,特

徴 点 の追跡 を行 う。

SIFT特

徴量

[Lowe'04]や SUIV特

徴 量 [Bay'06]は エ ッジの勾配 を利用 して回転やスケールに不変 な特徴量 を記述 し

,離

れた位置で 撮影 された画像 間 において もロバ ス トな対応付 けを可能 とす る。 しか し

,物

体 に 対 して視点が変化 す る際 に生 じる射影変形 の影響 を完全 に排除す ることは困難で あ るため

,い

ずれの手法 において も対応付 けの誤差が生 じる (図 ^1.6).

対応 付 けが容 易

図^1。

6視

点変化 と対応付け

・  ¨ Ｄ       一

・

亀 島

対応付け 困難

1。

1 

研究背景 13 また従来手法で は

,屋

外環境でのセ ンシング [Tardif'08]な ど

,得

られ る特徴 が 豊富であ る前提 の手法が多 い

.し

^{か し}

,移

動 ロボ ッ トが活動 す る環境 には

,廊

下 の よ うに平坦 で色合 い変化 に乏 しい (テ クスチ ャレスな

)場

所 も含 まれ るため,

利用 可能 な特徴 点 の数 が極 めて少 な くな るこ とも想定 され る (図 ^1.7)。 その場 合

,カ

メ ラ運動推定 の精度が低下 した り

,計

算処理上で破綻 した りす る可能性 が あ る。 したが って

,環

境 によっては

,特

徴点だ けでは安定 してカメ ラ運動 を推定 す るためには不十分 であ る。

図1.7テ クスチ ャレス環境の例 (屋内

,廊

^下)

移動 ロボ ッ トが活動す る環境 には

,建

物 を含 めさまざ まな人工物が存在 す るこ とが想定 され る。人工物 は直線形状 を含 む ものが多 いため

,動

画像 中で直線 の対 応が常 に得 られ る とい う前提 は自然で あ る。 そ こで

,特

徴 として直線 を利用 す る ことが有効であ る と考 え られ る。直線 は射影変形 の影響 を受 けづ らいため

,視

点 の大 きな変化 に対 して も頑健 な特徴 で ある。 したが つて

,点

を特徴 とす る場合 と 比べ

,誤

差 の小 さい対応付 けが期待で きる。

直線 の対応 関係 を用 い る

SIMの

従 来研 究 _[Ba■01i'05]の 他 に も

,カ

メ ラ運 動 を既 知 と して直線 の追 跡 お よび計 測 を行 うこ とで物 体 形 状 を復 元 す る手 法 [CrOWley'92]や

,建

物 内のモデルを既知 として直線 の位置合 わせ を行 うこ とでナ ビゲーシ ョンを行 う手法 [DeSouza'02]な ^ど

,そ

の他 に も多 くの手法が提案 され てお りlYagi'00],特徴 として直線 を利用 す るこ との有用性が示 されてい る。

＼

14 第1章

 

^序論

以上の こ とか ら

,本

研究で は

,主

に利用 す る特徴 として直線 を採用 す る。 しか し

,カ

メ ラ運動推定 の精度 お よび安定性 の向上のためには

,よ

^{り多 くの特徴 を用}

い るのが望 ま しい

.そ

^こで

,2つ

の特徴 点 を結 んで擬似 的な直線 (擬似直線

)を

作成 す る。 これ に よ り特徴点 を

,画

像 中か ら検 出 した実際 に存在 す る直線 と同様 に扱 うこ とがで きる。

ただ し

,対

応付 け誤差の大 きい特徴点 を用 い る とカメ ラ運動推定 の誤差 も大 き くな るため

,利

用 す る擬似直線 (すなわち特徴点

)を

適切 に選択す る必要が あ る。

また

,実

際 に存在 す る直線 の検 出

,あ

るいはその画像 間の対応付 けに も大 きな誤 差が含 まれ る可能性が あ る。 そ こで

,最

終 的 にカメ ラ運動推定 の誤差が小 さ くな

る特徴 のみを

,自

動的 に選択す る必要が あ る。

直線 を利用 す るためには

,ま

ず画像 中か ら直線 を検 出す る必要が あ る

.直

線 を 検 出す る上で問題 とな るのは

,画

像 の歪 みの影響で あ る

.ミ

ラーの反射 を利用 し た全方位 カメ ラで は

, 

ミラーの形状 に依存 して取得画像 に歪 みが生 じる。本研究 で用 い る双 曲面 ミラー (図 1.8)を利用 した全方位 カメ ラの場合

,双

曲面 の軸方 向か ら見 る とミラーは円形 に見 えるこ とか ら

,取

得画像 は円形 に歪 んでい る。 そ のため

,3次

元的 には直線 で あつて も

,全

方位画像上で は曲線 として投影 され る

(図 1.9).そ こで

,全

方位画像か ら直線 を検 出で きる手法が必要で あ る。

図^1。

8本

研究で用 い る双曲面 ミラーの例

1.1 研究背景 15

(a)全 方位 カメ ラで撮影 した直線形状 (b)元 の直線形状 直線 の例

図^1。

9曲

線 として投影 され る

特徴 点 と異 な り

,直

線検 出お よび対応付 けの手法 は確立 されていない。 そのた め従来研 究で は

,手

動 で検 出や対応付 けをす るか [Ly'10],  も し くは個 々 に独 自 の アル ゴ リズ ムを考案 して い る。直線検 出の従 来方法 として

,直

線 の端 点 を抽 出 し

,そ

れ らを結ぶ こ とで直線 を検 出す る手法が ある[Bart01i'05][Schindler'06]

[Smith'06].端点 を コーナー点検 出手法

(KLTト

ラッカな ど

)に

^{よって取得 す る}

ことが考 え られ るが

,必

ず しもすべての物体 の角点 を検 出す るこ とはで きないた め

,端

点 を利用 す る直線検 出手法 は好 ま しくない。 その他 に放物面 ミラー を用 い た全方位 カメ ラ画像 か らの直線検 出 [BossC'02]が提案 されて い るが

,本

研 究 で 用 い る双曲面 ミラーを利用 した全方位 カメ ラに

,そ

の まま適用 す ることはで きな い。 そ こで本研究では

,双

曲面 ミラーを用 いた全方位 カメ ラ画像 か らの直線検 出 お よび対応付 けの手法 を提案す る[り‖西^'10].

(0/bカメラ運動推定

提案 手法 で は

,画

像 間 の直線 の対応 関係 か らカメ ラ運動 を推定 す る。直線 の 対応 関係 か らカ メ ラ運 動 を推定 す る基礎 的 な理 論 は

,す

で に提 案 され て い る [SpaCek'86][Faugeras'93][Hartley'97b].

1  

曲線として投影された直線

 i

ξ   ^Ⅲ

_ヽ′         

^…｀

_‐ 、

16  

第

1章  

序論

一般 的な

SNIの

考 え方 として は

,近

似 による線形解法 に よってカメ ラ運動 の 初期解 を算出 し

,そ

の後 に非線形最適化 アプローチによって線形化近似 による誤 差 を最小化 す るこ とで

,カ

メラ運動 を推定す る

.こ

れ は

,カ

^{メラ運動の推定 は自}

由度の高 い非線形 問題 であ り

,全

探索的に解 くことは困難 であるか らであ る。た だ し

,非

線形最適化 アプローチで は

,真

値 に近 い初期値が与 え られない場合 には 局所解 に陥 るこ とが あ り

,カ

メ ラ運動推定 お よび

3次

元計測の誤差が大 き くな る 要因 とな る

.多

数 の特徴が得 られ る場合 は

,線

形化 による誤差 をある程度抑 え ら れ るこ とが あ るが

,廊

下 の ような特徴 の少 ないテ クスチ ャレス環境 において は^, 多数の特徴 を取得 す ることはで きない

.そ

^のため

,非

線形最適化手法 を適用 して

も

,精

度良 くカメ ラ運動 を推定す ることが困難 な場合があ る^.

そ こで

,特

定 の位置や姿勢 にあ る直線 を利用 す るこ とで

,問

題 を簡 単 に して

SfMを

解 く手法が提案 されてい る

.直

線 の位 置や姿勢が 限定 され る こ とで

,局

所解 に陥 る危 険性 を低 減 で き る とい う利 点が あ る。床面 上 の直線 と床面 に対 し て垂直 な直線 のみを利用 す る手法

[G.Zhang'H]や ,天

丼 の直線 を利用 す る手法

[Folkessoll'05][WYJemぽ 07]な

^{どがある。 しか し}

,こ

れ らの手法 は適用可能な 環境が限 られ るとい う問題がある。

その他 に

,平

行線 を利用 す るこ とで

,カ

メ ラ運動推定の 自由度 を低減す る手 法が提案 されてい る

.推

定す るパ ラメータの 自由度が低 いほ ど

,非

線形最適化 アプローチ を適用 した際 に局所解 に陥 りに くくな り

,カ

メ ラ運 動推定 の精度 の向上が期待 で きる

.平

行線 を利用 した

SfM手

法 もすで に提案 されてい るが

[SChhdler'06][M前

^o

d'071,従

来手法の多 くはカメラ運動 を

2次

元平面上 に限 定す る必要がある

,あ

るいは特定の環境 にしか対応できないな ど

,多

くの前提条 件が存在す る。 また従来手法では

,推

定す るカメラの視点数や平行線の数が増加 す るこ とで 自由度が高 まることに違 いはないため

,根

本 的な解決 には至 ってい ない。

そこで本研究では

,前

提条件 を全方位画像 中か ら平行線が得 られ ることのみ と す る

.人

工物か らは床面に対 して垂直 あるいは水平な直線が得 られやすい。 また 全方位 カメラは広い視野を有 してい るため

,画

像 中か ら平行線 を常 に検出す るの は難 しくない

.平

行線か ら得 られ る拘束条件 を利用す ることで

,推

定す るカメラ の視点数 によらず一定で

,か

つ低い自由度での非線型最適化アプローチによるカ メラ運動推定手法 を提案す る^.

1.2 研究 目的

  17

1.2  研 究 目的

本研 究 の 目的 は

,Smcire ttom Motionの

枠組 みで周 囲環境 の地 図生成 とロ ボ ッ トの 自己位置推定 を実現す る手法 を構築 す ることであ る

.本

研究で提案 す る 手法 は

,従

来手法では対応 困難 な

,特

徴 の少 ない環境 にも対応可能で ある

.提

案 手法の骨子 は以下 の とお りである.

・ 視野の広 い全方位 カメラを

1台

のみ用 いて,

o視

点の変化 に頑健 な特徴 である直線 を検 出 し^,

o平

_{行線 を利用 した}

_,局

所解 に陥 りに くい非線型最適化 アプローチ に よ り,

カメ ラの

3次

元運動 を推定す る.

さらに

,推

定 されたカメ ラ運動 を用 いて画像 中の物体 の

3次

元計測 を行 い

,計

測結果か ら環境 の地図 とな る

3次

元環境モデルを生成 す る

.実

際の環境で撮影 し た動画像 を用 い

,提

案手法 の有効性 を示す.