第 5 章 対象物の形状モデリング
5.3 対象物の密な形状復元
時刻 t - 1 時刻 t
図5.5: KLT-Trackerの追跡ミス
本研究では 、多数の特徴点をランダ ムサンプ リングするデータ、評価されるシステムを推 定したいパラメータ（ カメラの位置・姿勢など ）を含む評価関数として、RANSACの枠組み を用いる。利用局面は 、初期フェーズにおける因子分解法や、逐次フェーズにおけるカメラ の位置・姿勢推定の非線形最小化である。これらについては本章で後述する。
不変量を算出する。（ 図5.6）
z=α(p2−p1) +β(p3−p1) +p1 (5.2) ここで、zは指定した画素、pn(n= 1,2,3)は、画像内の特徴点であり、α、βはアフィン不 変量を表す。この式から、アフィン不変量のα、βを算出する。一方、別の画像Bにおいて、
画像A中のzの推定座標zは以下の式で求められる。
z =α(p2−p1) +β(p3−p1) +p1 (5.3) pn(n= 1,2,3)は、画像A中の特徴点に対応付けられた画像B上の特徴点を表す。こちらの 式では、右辺のパラメータは全て既知となるため、zが一意に求まる。
Image A Image B
Epipolar Line
P(z) Q(z’)
Feature Point
p1
p1 p’p’11
p2
p2 p’p’22
p3
p3 p’p’33
図5.6:アフィン不変量
この枠組みを利用することで、現在の画素（ 図5.6 , P）が別の画像上のどこに移動したか を、算出したアフィン不変量と３角形を構成する近傍の特徴点の位置から求めることができ
る（ 図5.6 , Q）。ただし 、本手法では２次元のアフィン不変量を用いているため、画素の推定
位置には近似による誤差が生じ る。そこで以下の条件から画素の推定位置を評価し 、その結 果をもとに復元する画素を選ぶことで、誤差の大きな点が復元されることを制限する。（エピ 極線については付録Aを参照）。
• 推定した画素値が 、もとの画素値によるエピ極線から所定の閾値以内の距離にある。
• 推定した画素の輝度値が 、実際の画素の輝度値と近い。
以上より、２枚の画像間での画素の対応を付け、モーションステレオと同様の計算をおこな うことで、３次元位置を求める。
5.3.2 Voxel空間への統合
前節の手法により、２枚の画像毎に密な復元をおこなった結果を、Voxel空間に統合する。
Feature Point
Voxel Space
v v
Corresponded Pixel Corresponded Pixel
図5.7: Voxel空間への統合
形状モデリングでは多数枚の画像を用いて処理をおこなうため、２枚の画像毎に密な形状 復元を続けると 、冗長なデータが非常に多くなる。そこで、全周囲画像群から２枚の画像毎 に復元をおこなった結果をVoxel空間に統合する（ 図5.7）ことで、冗長なデータを整理する。
具体的には 、定義したVoxel空間において、２枚の画像から復元した画素の３次元位置を含 んでいるVoxelに対し 、投票（Voting）をおこなう。
また、アフィン不変量を利用した復元手法は、２次元のアフィン変換により近似をおこなっ ているため、奥行きの大きなシーンや、３次元形状に細かい凹凸のある部分では 、復元誤差 が大きくなる。この対処として、画素の３次元位置を復元し投票をおこなう際、近傍のVoxel にも投票する。３次元のVoxel空間においては、ひとつのVoxelに隣接する２６個のVoxelが 存在するため、これらのVoxelにも投票する。
全周囲の画像において同様の投票をおこない、最終的な投票値が所定の閾値を越えたVoxel のみを、真の３次元位置を含む可能性があるVoxelとして残す。得られる復元結果は、形状に 厚みを持ったVoxelの集団として表されるが 、この理由は次節で明らかにする。
5.3.3 Space Carvingによる形状の補正
上記の処理で得られたVoxel集団に対し 、Space Carvingをおこなう。３章で述べたように、
Space Carvingはあらかじめ生成されたVoxel空間の初期形状に対し 、多視点から得た複数枚
の色画像を用いて、全ての画像において色の矛盾がなくなるまでVoxel空間を削っていき、最 終的な形状を得る手法である。
複数枚の画像を用いた従来の密な形状復元では 、平行ステレオのようにカメラの位置・姿 勢の関係を単純化し 、マスクを用いた相関による画素の対応付けをおこなうものが多い。し かし 本研究では 、移動ロボットに搭載したカメラから得た画像列を用いるためカメラの姿勢 変化が複雑になり、上記のような画素の対応付けは困難である。一方でSpace Carvingは、３
次元空間上に定義したVoxelをそれぞれの画像上に投影することで画像間の整合性を取るた
め、Voxelの大きさが十分小さく、カメラの位置・姿勢が既知であれば 、視点の複雑さを考慮
することなく精密な形状が獲得できる。
従来のSpace Carvingを利用するアプローチでは、画像から物体の輪郭を抽出してVoxel空
間の初期形状を生成することが多い。しかし 本研究では 、ロボットが移動するのは実環境で あり、取得する画像には対象物以外にも物体があることを想定しているので、同様の手法で
Voxelの初期形状を生成することが困難である。そこで、アフィン不変量を利用して得た密な
形状を、Voxel空間に統合し得た結果を、Space Carvingのための初期形状として利用する。こ
の形状は線形近似の誤差を含んでいるが 、補正のための初期形状としては十分な精度を持つ。
また、カメラの位置・姿勢は 、特徴点の３次元位置と共に画像を取得する毎に推定できてい る。すなわち、Voxel空間の初期形状とカメラの位置・姿勢の問題は解決し 、Space Carvingが 利用できる。
Voxel Space
remove
Image A Image B
Va Vb
Voxel V
?
図5.8: Space Carving
具体的なアルゴ リズムを以下に示す。アフィン不変量を利用した密な復元結果をVoxel空 間に統合することで得たVoxel集団を、Photometricな情報に従い削っていく。すなわち、図 5.8に示すように 、あるVoxelV が画像A上に投影された際、その投影像vaに含まれる画素 の輝度値を記録しておく。そして別の画像B上にそのVoxelV が投影された際、その投影像 vbの画像領域に含まれる輝度値を調べ、画像Aのvaの輝度値と異なれば 、そのVoxelは消去 する。これを複数枚の画像間で繰り返しおこない、削られるVoxelの数が所定の閾値を下回っ たか 、繰り返しの回数が一定値を越えたら処理を終了して最終的な対象物の形状を得る。
Space Carvingは 、幾何学的な近似を含まず、画像のPhotometricな情報のみで処理をおこ
なうため、テクスチャを有する物体の復元の場合、アフィン不変量を利用した密な形状復元 の誤差を補正できる。