自然特徴点を用いたトラッキング

3.4.1 自然特徴点の抽出

本研究では、カメラから取得した視界画像内の特徴的な点の中でも、物体の角に注 目して利用する。2次元画像内での角の検出は、MORAVECらのアルゴリズムを利用 することで可能である。しかし抽出された角を表す値は画素単位でしか得られないた

図 3.4: 設置するマーカと座標系の関係

め、この値を角の座標として利用すると、サブピクセル分の誤差を含んでしまう。そ のため本研究では、視界画像から直線を検出し、それらの交点座標を実際の角の座標 として用い誤差を少なくする。

実際には、カメラから取得した視界画像を、MORAVECの方法を改良したHarrisオ ペレータ^[18]で走査して、特徴点を抽出する。Harrisオペレータは、画像中の画素の値

（画素値）を水平方向、垂直方向に微分した値を用いて演算を行い、この演算結果を閾 値で分離する。判別に画素値の微分した値を用いるため、照明の変化に影響を受けに くくなり、安定して角を抽出できる。これにより、図3.5に示すように画像中の物体の 角を抽出できる。

このHarrisオペレータを用いた特徴点抽出には、以下の問題がある。

• 特徴点が物体の角か、偶然光の加減で生じたものか、判別ができない

Harrisオペレータは二次元画像における特徴を抽出しており、決して物体の角と

いう三次元形状を認識しているわけではない。そのため複数個検出される特徴点 の中には、物体の角以外に光の影響によってたまたま生じた、周囲の画素が物体 の角と同じような変化をもつ特徴点が多数存在している。Harrisオペレータでは 検出した点の特徴度合いが算出されるが、このような理由から、物体の角か偽物 の角かの判別を閾値によって行うことができない。

• 角部分周辺に、複数の特徴点が生じる場合がある

画像上での物体の角の周辺には、物体の角と似たような画像上の変化が、周囲数 画素に渡って集中することがある。そのため、それらの画素も特徴点として抽出 されてしまう。

そこで本研究では、図3.6に示すように得られた視界画像から直線検出を行い、得ら

（青の丸が角として抽出された部分）

図 3.5: Harrisオペレータの実行例

れた直線の交点座標と、Harrisオペレータによって抽出された特徴点の中で、最も近 い特徴点座標との距離が一定範囲以内の場合、その特徴点を物体の角と見なし、直線 の交点を特徴点座標として利用する。直線検出には、Sobelフィルタ^[19]によるエッジ 抽出を行い、固定閾値により2値化した後、Hough変換を行い直線を検出する。この 処理で得られた直線の交点と、Harrisオペレータによって抽出された特徴点の距離を 算出し、閾値以内の場合は角と見なし、その交点座標を特徴点座標として利用する。

次節で述べる自然特徴点間のマッチングを行うには、異なる画像間において、三次 元空間内の同じ点が検出されていることが必要である。本節で述べた判別をすること で、二次元画像上の角と思われる点のみを検出することができるため、ある視界画像 で検出された点は、異なる画像でも検出される可能性が高くなる。また同様の理由か ら、見かけ上似ているだけの点を検出されにくくなる。

3.4.2 自然特徴点間のマッチング

自然特徴点を利用するには、図3.7に示すように、異なる視界画像から抽出された自 然特徴点同士で、三次元空間内の同じ点を表している点同士の対応づけができる必要 がある。

これには以下の2つの理由がある。

検出された直線

図 3.6: Harrisオペレータと直線の交点を利用した角の検出

図 3.7: 異なる視点で取得した画像間での特徴点の対応付け

1. 3.4.3項で述べる自然特徴点の三次元位置推定を行うには、2枚の異なる視点から 得られた画像中で、三次元位置が同一の点を表す画像上の座標の組合わせが必要 になる。そのため、今までに蓄積された、視点位置が分かっていて三次元位置が 分からない点の画像と、現在取得した視界画像内の特徴点とを対応づけることで、

異なる視点から撮影された、三次元位置が同じ特徴点座標の組合わせを得る。

2. 3.4.4項で述べる6つの自然特徴点を利用したカメラ位置推定を行うには、画像内

の特徴点の三次元位置を知る必要がある。そのために、今までに蓄積された三次 元位置が分かっている点の画像と、現在取得した視界画像内の特徴点とを対応付 けることで、視界画像中の特徴点の三次元位置を得る

このため、このマッチング作業は、上記の2つの場合に共通して用られるように、得 られた視点画像を判断要素として行う必要がある。本研究では、五十嵐らによる「方 向ヒストグラムの自己回帰モデルに基づく回転不変画像照合^[20]」を用いて類似度判定

を行う(付録参照)。この手法は以下の特徴がある。

• 画像の回転に対応している

• 画像の拡大・縮小に対応している

• 画像の変形・歪みに耐性を持つ

類似度判定を行う際に、判断材料として用いられるテンプレート画像は、3.4.1項で 述べた手法を用いて抽出された自然特徴点の座標を中心とした、正方形画像を切り出 すことで作成される。画像毎の特徴は、切り出す正方形の大きさ大きいほど顕著にな るが、それに合わせて計算コストも大きくなるため、最適な大きさを探す必要がある。

類似度判定は、五十嵐らの手法を用いて変換された、方向ヒストグラムの自己回帰 モデルで表される特徴ベクトルのユークリッド距離を基本として、方向ヒストグラム の平均度数の差の大きさを付加して判定される。相違度が小さいほど、画像が写して いる対象が同じである可能性が高いと判断され、自然特徴点の対応付けができる。

3.4.3 自然特徴点の三次元位置推定

本研究では、3.4.1項の手法により抽出した特徴点に対し、視界画像中の座標(x_c, y_c) と、視界画像への射影変換を表す行列(3.2節におけるP T_cm^` )を2組用い、ステレオ法

(三角測量)を適用することで三次元位置を求める^[21]。

図 3.8: ステレオ法における視界画像と特徴点の関係 図3.8に、ステレオ法における視界画像と特徴点の関係を示す。

今、異なる視点から撮影された2枚の画像がある。これを図3.8における画像B、画 像Cとする。画像Bの中のある特徴点をBとし、画像Cの中のある特徴点をCとす る。この時BとCとは、3.4.2項の手法を用いて三次元空間内の点Aであることが分 かっているとする。またそれぞれの画像を撮影したときのカメラの位置・姿勢も分かっ ているとする。このような時、Aのマーカ座標系での座標を求めることが、ステレオ 法の意味である。

図3.8のように、三次元座標を求めたい点Aの、マーカ座標系における斉次座標A[a]

を< a₁, a₂, a₃,1 >とし、視界画像Bにおいて点Aが射影された点の斉次座標B[b]を

< b₁, b₂,1>、視界画像Cにおいて点Aが射影された点の斉次座標C[c]を< c₁, c₂,1>

とする。AからBへの射影変換を表す行列をM_B、AからCへの射影変換を表す行列 をM_Cとすると、h_B、h_Cをある実数として、

< a₁, a₂, a₃,1>M_B =h_B < b₁, b₂,1>

< a₁, a₂, a₃,1>M_C =h_C < c₁, c₂,1> (3.7) と書ける。ここで、M_B、M_C は、3.2節で述べた本システムで扱う変換行列に照ら し合わすと、M_Bについて、

P T_cm^` =



 M_B^T 0 0 0 1



 (3.8)

であり、M_Cも同様である。

この2式をまとめると、

a[M_B M_C] =< h_Bb h_Cc> (3.9) となる。M_B、M_C をそれぞれ3つの列ベクトルで表すと、

M_B =

m₁ m₂ m₃

M_C =

m₁ m₂ m₃

(3.10) となり、式3.7は、

a[m₁ m₂ m₃ m₁ m₂ m₃]

=< h_Bb₁, h_Bb₂, h_B, h_Cc₁, h_Cc₂, h_C > (3.11) となる。したがって、

h_B =am₃⁰ h_C =am₃⁰⁰ (3.12)

である。これより、

a[m₁ m₂ m₁ m₂] =<am₃⁰b₁,am₃⁰b₂,am₃⁰⁰c₁,am₃⁰⁰c₂ > (3.13) となる。よってこれを書き下すと、

< a₁, a₂, a₃ >







m₁₁ −m₃₁b₁ m₂₁−m₃₁b₂ m₁₁−m₃₁c₁ m₂₁−m₃₁c₂ m₁₂ −m₃₂b₁ m₂₂−m₃₂b₂ m₁₂−m₃₂c₁ m₂₂−m₃₂c₂ m₁₃ −m₃₃b₁ m₂₃−m₃₃b₂ m₁₃−m₃₃c₁ m₂₃−m₃₃c₂







=−< m₁₄ −m₃₄b₁ m₂₄−m₃₄b₂ m₁₄−m₃₄c₁ m₂₄−m₃₄c₁ > (3.14) となる。したがって、この方程式を< a₁, a₂, a₃ > T = dと表せば、T の右逆行列 T⁺ =T^T(T T^T)⁻¹を使って、

< a₁, a₂, a₃ >=T⁺d (3.15) と解くことができる。以上より、自然特徴点の三次元位置を求めることができる。

3.4.4 6 つの自然特徴点を利用したカメラの位置と姿勢推定

本研究では、以前の視界画像に対して、3.4.1項と3.4.3項の手法を適用して抽出さ れた三次元位置がわかっている点と、現在の視界画像から3.4.1項の手法で検出した特 徴点とを、3.4.2項の手法を用いて評価し、同一の点と判断された複数の点を用いてカ メラ位置を推定する。このように三次元位置と画像上の座標との対応が取れているn 点を用いて撮影したカメラの位置・姿勢を求める問題を、透視n点問題(P nP問題)と 言う^[22]。この問題は、最小で3つの点の組があれば解くことができるが、高次の連立 方程式を解く必要があるため、本研究では平易な計算で導出可能となる6点を用いる P6P 問題を解くこととする。この6点は同一平面上にあってはならないという条件^[23]

がつく。しかし系統隔離作業を行う環境では、3.1.3で述べたとおり、様々な機器が並 ぶ環境なので、抽出された特徴点全てが同一平面上にあることはまずあり得ないと考 えるが、念のため、カメラ位置推定に利用可能な点から、同一平面にない点の組を選 択して利用することとする。

今、三次元空間中の6点の斉次座標を、

[a_i] (a_i =< a_i1, a_i2, a_i3,1>, i= 1,2,3,4,5,6) (3.16) と置き、それぞれに対応する画像上の6点の斉次座標を、

[b_i] (b_i =< b_i1, b_i2,1>, i= 1,2,3,4,5,6) (3.17) とすると、透視変換行列M を、

M =









m₁₁ m₁₂ m₁₃ m₂₁ m₂₂ m₂₃ m₃₁ m₃₂ m₃₃ m₄₁ m₄₂ m₄₃









(3.18)

として、

[a_iM] = [b_i] (i= 1,2,3,4,5,6) (3.19) 斉次座標には定数倍の自由度があるので、h_iをある実数として、式3.19は、

a_iM =h_i < s_i, t_i,1> (3.20)

と書ける。

Mを3つの列ベクトルで、

M =





m₁ m₂ m₃





 (3.21)

と表すと、

a_i[m₁ m₂ m₃] =h_i < s_i, t_i,1> (3.22) となり、まず、

a_im₃ =h_i (3.23)

したがって、

a_i[m₁ m₂] = (a_im₃)< s_i, t_i > (3.24) となる。

そこで、各m_iの成分をたてに並べて、

m=





 m₁ m₂ m₃





 (3.25)

と置けば、



a_i 0 −s_ia_i 0 a_i −t_ia_i



m= 0 (3.26)

これを6点についてまとめて書くと、