形状モデリングアルゴリズムの統合

Wは画像特徴点を並べた行列、Mはカメラの姿勢を表す行列、Sは特徴点の３次元位置を 表す行列である。式の詳細は付録Aを参照されたい。これにより、複数枚の画像にわたって 追跡が続いた複数の特徴点の推移情報を用いて 、カメラの位置・姿勢と特徴点の３次元位置 を同時に算出する。ただし 、本研究では弱透視投影モデルによる因子分解法を用いているた め、処理が簡便で高速に実行できる一方、カメラの平行移動成分や、対象物の正確なスケー ルが求まらない。また、対象物の形状には線形近似の誤差を含んでいる。これらについては、

対象物の発見処理で判明した、対象物とカメラ間の距離情報を用いてスケールを決定し 、そ こから求めたカメラの位置・姿勢と特徴点の３次元位置を初期値として、非線形最小化（ 式 5.5）による補正処理を加えることで対処する。因子分解法の結果は線形近似等の誤差が含ん でいるが 、非線形最小化の初期値としては、十分に良い近似値となる。

C=²

j=0

P i=0

r^T_xjm_ij

r^T_zjm_ij −X_i+t_xj Z_i+t_zj

₂ +²

j=0

P i=0

r^T_yjm_ij

r^T_zjm_ij −Y_i+t_yj Z_i+t_zj

₂

(5.5) m_i = (u_i/f₁, v_i/f₂,1)は画像特徴点の位置座標を焦点距離で割った値のベクトル表現であり、

r_x、r_y、r_zは回転表列Rの各軸成分を表す行ベクトルである。t_x、t_y、t_zは、ワールド 座標 系からのカメラ位置への平行移動成分、X、Y、Zはワールド 座標系から見た特徴点の３次元 座標を表す。また、iは画像、jは特徴点の番号を表す。この非線形の評価関数から、RとT、 特徴点の３次元位置の補正をおこなう。

上記の処理は画像情報しか用いないため、ロボットの動作モデルが不要で利便性が高い。そ の反面、特徴点の追跡ミスにより復元結果が大きく影響を受ける。すなわち、追跡誤差が大き な特徴点を含んだ状態で処理をおこなうと、復元の結果全体に悪影響がある。そのため、こ れらの特徴点を除去した上で因子分解法を用いるべきである。形状モデ リングの初期フェー ズでは、前述したRANSACの枠組みを用いて対処する。具体的には、多数枚の画像で追跡で きている特徴点の５割程度をランダ ムに選び出し 、因子分解法と非線形最小化をおこなうこ とを繰り返す。もし追跡誤差の小さな特徴点だけを参照できていれば 、求まるカメラの位置・

姿勢と特徴点の３次元位置は精度よく求まる。このことは 、非線形最小化の評価関数の値の 大きさにより判断できる。

5.4.4 逐次フェーズ

対象物の周囲から得た画像列から 、その全体形状を獲得するフェーズである。このフェー ズでは 、ロボットが対象物の周囲を走行しながら 、新たに画像を取得するたびに以下の処理 をおこなう。

1. ３次元位置が既知で、画像間で追跡が続いている特徴点から、カメラの位置・姿勢を非 線形最小化により推定

2. 求めたカメラ位置・姿勢から、新たに抽出された特徴点の３次元位置をモーションステ レオにより算出

3. 求めたカメラの位置・姿勢から 、アフィン不変量を利用した密な形状復元をおこない、

Voxel空間に投票

対象物の周囲の画像を取得する段階に入ると、視点の移動により物体の見え方の変化が大き くなる。すなわち、セルフオクルージョンにより追跡が不可能になる特徴点と、対象物の新 たに見えてきた部分で抽出される特徴点が混在する状況になり、特徴点は頻繁に入れ替わる。

このため、特徴点の３次元位置算出を１点ごとにおこなえるモーションステレオが有効であ る。カメラの位置・姿勢は 、画像中に存在し ３次元位置が既知の特徴点から 、非線形最小化 により推定する。以下で、上記の３項それぞれの詳細を述べる。

カメラの位置・姿勢の推定

逐次フェーズでは、新たに画像を取得し特徴点の追跡をおこなった後に、前の画像から 追跡が続いていて３次元位置が既知の特徴点を用いて 、カメラの位置・姿勢を算出す る。ただし 、これらの特徴点を画像間で追跡する際に 、Trackerが追跡ミスを起こして いた場合、カメラの位置・姿勢の推定に失敗する恐れがある。この追跡ミスを全て検知 することは非常に困難であるため、RANSACの枠組みを用いる。具体的には 、３次元 位置が既知である画像特徴点の６割程度をランダムに選び出し 、非線形最小化（ 式5.6） によりカメラの位置・姿勢を推定することを繰り返す。初期値は、ひとつ前の画像を取 得したカメラの位置・姿勢とする。もし追跡誤差の小さな特徴点だけを参照できていれ ば 、最適化されたカメラの位置・姿勢に対する評価関数の値が小さくなるため、推定の 精度を判断できる。

C =^P

i=0





r^T_xm_i

r^T_zm_i −X_i+t_x Z_i+t_z

₂ +

r^T_ym_i

r^T_zm_i −Y_i+t_y Z_i+t_z

₂



 (5.6)

m_i = (u_i/f₁, v_i/f₂,1)は画像特徴点の位置座標を焦点距離で割った値のベクトル表現 であり、r_x、r_y、r_zは回転表列Rの各軸成分を表す行ベクトルである。t_x、t_y、t_zは、

ワールド 座標系からのカメラ位置への平行移動成分、X、Y、Zはワールド 座標系から 見た特徴点の３次元座標を表す。また、iは特徴点の番号を表す。ここでの非線形最小化 の変数は、カメラの姿勢を表す回転の２成分と、ロボットの平行移動の２成分である。

以上より、評価関数の値が一番小さくなるようなパラメータの組み合わせを現在のカメ ラの位置・姿勢の推定値とする。

特徴点の３次元位置算出

カメラの位置・姿勢を推定した後に、現在の画像上で追跡が続いており３次元位置が未 知の特徴点に対して、過去にその特徴点が抽出された時点の画像との間でモーションス テレオをおこなう。

C=X−s₁m₁²+X−s₂Rm₂+T² (5.7)

Rはカメラの姿勢を表す行列、Tはカメラの位置を表し 、前述の推定手法により正確に 求まっているものとする。mは画像特徴点の拡張ベクトルであり、s₁、s₂はmの長さ を表すスカラーである。Xは特徴点の３次元位置を表す。この評価値が最小となるよう なXの値を求める。

R,T

image2 image1

p¹

p²

C2

C1

図5.9:モーションステレオの原理

モーションステレオは、カメラの位置・姿勢が既知の条件のもとで、特徴点の３次元位 置を１点づつ求めることができる。算出の原理は、図5.9に示すように、２枚の画像に おいて、それぞれのカメラ中心と画像上の点とを結んだ直線が交わる位置を求めること である。実際には、いくつかの要因で誤差が含まれるため、２本の直線のユークリッド 距離の自乗和が最も小さい３次元空間の位置を算出する。逐次フェーズではこの性質を 利用し 、復元した特徴点を再度画像上に逆投影した際に、その投影値と画像特徴点の位 置が十分小さいことを調べることで、復元の正確さを測る。画像特徴点の追跡結果と逆 投影した点の位置が十分近ければ 、３次元位置が精度良く求まったとして、その点は以 降のカメラの位置・姿勢の算出に利用する。そうでない点は、引き続き未知の点として 扱う。

密な形状復元

アフィン不変量を利用した密な形状復元を２枚の画像ごとおこない、結果をVoxel空間 に投票していく。

手順としては、ひとつ前の画像と現在の画像との間で特徴点を追跡したのち、前述した 手法により、３次元位置が既知の特徴点から現在のカメラの位置・姿勢を推定する。密 な復元をおこなうための２枚の画像を、現在の画像と２〜４枚前の画像とし 、これらの 画像間でどの特徴点の追跡が続いているかを調べる。現在の画像上で追跡できているこ れらの特徴点を、ド ロネー分割することで３点ごとの組とし 、この３点の位置関係と、

もう片方の画像上での同じ３点の位置関係をそれぞれ記憶しておく。最後に、現在の画 像で指定した画素に対し 、それを内包する３点の特徴点からアフィン基底を生成するこ

時刻 t 時刻 t - 4

共通した特徴点

ドロネー分割

図5.10:アフィン基底の生成

とで、指定した画素がもう片方の画像上のど の位置にあるかを推定する。

図5.10に、アフィン基底生成の例を示す。この例では、２枚の画像で共通する特徴点に ついて、ド ロネー分割と呼ばれる３角形分割のアルゴ リズムを適用することで、特徴点 が小さな３角形を生成するような３点の組に分ける処理をおこなっている。

以上を画像上の対象物の存在する範囲の全ての画素についておこない、密な形状を得る。

このフェーズでは 、それぞれの処理が高速であり、画像を取得するたびに対象物の形状を 逐次的に求められるため、ロボットの経路をリアルタイムに変更することが可能である。

5.4.5 最終フェーズ

逐次フェーズまでに取得した対象物の全体形状を補正するフェーズである。Voxel空間の投 票結果から 、所定の閾値を越えるVoxelのみを残し 、そのVoxel集団をSpace Carvingにより 削ることで、最終的な形状を得る。

逐次フェーズにより得たVoxelによる形状を、初期形状としてSpace Carvingの処理に与え る。この初期形状には、２次元のアフィン変換による誤差が含まれる。最終フェーズでは、特徴 点の推移情報を用いて高速に求めた３次元形状を、Photometricな性質を用いたSpace Carving によって補正する。Space Carvingについては、前述した通りである。

5.4.6 提案方式のポイント

提案するアルゴ リズムについて整理し 、ポイントを述べる。

初期フェーズ

逐次フェーズ

最終フェーズ

逐次フェーズの初期値を生成

カメラ位置・姿勢 物体の密な形状

形状復元結果を補正する  

  ・カメラの位置・姿勢   ・特徴点の３次元位置      を同時に算出

   カメラの位置・姿勢を求める        ↓

  特徴点の３次元位置求める        ↓

  ２枚の画像ごとの相関ステレオ

 voxel空間へ統合     ↓   形状を補正

因子分解法 非線形最小化

非線形最小化 モーションステレオ アフィン不変量

Space Carving

目的 処理内容 手法

逐次推定

特徴点ベース

特徴点ベース

Photometricベース

図5.11:提案アルゴ リズムのポイント

図5.11は 、提案するアルゴ リズムの流れを整理したものである。ロボットの走行中におこ