メカニカルセンサとイメージセンサの融合による３次元形状復元

全文

(1)2005-CVIM-147 (16) 2005/1/21. 社団法人情報処理学会研究報告 IPSJ SIG Technical Report. メカニカルセンサとイメージセンサの融合による３次元形状復元岡谷貴之東北大学大学院情報科学研究科 [email protected] 概要: 本稿では，角速度センサや加速度センサといったメカニカルセンサをカメラに取り付け，カメラの運動に関する情報を計測することで，画像からの 3 次元復元などの問題において，カメラだけでは従来難しかったような問題を解決する方法について述べる．特に，難しいとされる特徴点の対応付けの問題が，姿勢を計測するメカニカルセンサを使ってどのように解決できるか，センサの種類の使い分けとその精度についての考察も含めつつ議論する．また，このようなシステムで問題となる，カメラとメカニカルセンサの内部的な座標表現の違いを計算するキャリブレーション方法についても述べる．. 3D Shape Recovery By Fusion of Mechanical and Image Sensors Takayuki Okatani Graduate School of Information Sciences, Tohoku University Abstract: This paper presents a method that resolves several difficulties with the problems of 3D recovery from multiple images by attaching mechanical sensors, such as gyrosensors and accelerometers, to the camera and then measuring the pose of the camera from these sensors. To be specific, it is discussed how the problems of image matching, which are still difficult to perform, could be solved by introducing mechanical sensors measuring 3D pose of the camera, including discussion as to choice of mechanical sensors and their measuring accuracy. Moreover, several methods are described for calibration of the system, which is to determine the difference in internal coordinate representation between the camera and the mechanical sensors, and which will be a problem need to be carefully considered.. 1. 用を提案している [3]．また著者らは，第 5 節に述べる. はじめに. ように，姿勢センサ（角速度センサ＋加速度センサ）カメラを自由に動かしながら対象とするシーンや物. を使用して，スチルカメラの静止姿勢の情報を得て，. 体の画像を得て，3 次元形状復元を初めとする各種の. 画像の輪郭から 3 次元形状を復元する問題や [4]，ス. 応用を可能にする方法の研究が，これまで盛んに行わ. テレオ画像の特徴点対応付け [5]，さらには傾斜セン. れてきた．その中で，カメラにメカニカルセンサを取. サと平面とを組み合わせた幾つかの応用 [6, 7] につい. り付け，そこから 3 次元空間内でカメラが占める位置. て発表している．. や姿勢の情報を得て，カメラだけでは困難だったような問題を解決することを目的とした研究が行われてきている．. 本稿ではカメラとセンサを組み合わせたシステムのうち，どこへでも持ち運びでき，空間内を制約なく自由に動かせる柔軟性を備えたものを考える．この柔軟. 例えば，向井らは角速度センサ（レートジャイロ）性は，幅広い応用を考える上で前提となる．（この種のとビデオカメラを組み合わせて，ビデオ画像列からの. 柔軟性を必要としないのならば，カメラの位置や姿勢. 3 次元形状復元に応用している [1, 2]．そこでは，ビデオカメラの運動における回転と並進の成分の分離や，特徴点追跡のロバスト性の向上などが目標とされている．また，Lobo らは，ロボット視覚への応用を意識して，ステレオカメラヘッドに傾斜センサを取り付けて，姿勢やカメラパラメータの推定などいくつかの応. を得ることは難しくないだろう．）この柔軟性を念頭に置くと，実装がコンパクトでそれ単体のみで機能するメカニカルセンサを選び，それをカメラに取り付けたシステムが最有力となる．このような要件を満たすセンサが計測する物理量は，普通は姿勢に関係するものとなる．センサとしては，角速度センサ（ジャイロ. 1 −123−.

(2) りさせ，それによってシステムの機能を向上したり性能を改善することにある．その意味で，カメラとメカニカルセンサそれぞれの得手不得手を見極めることが議論の出発点となる．まず，カメラ（画像から情報を取り出すアルゴリズムも含む）にとって難しいのは何か．空間をカメラを図 1: メカニカルセンサとカメラを組み合わせたシステム．センサは角速度センサ＋加速度センサからなる. 動かして得た複数枚の画像から，3 次元形状を復元するなどの幾何学的な計算を行う方法の研究は，とりわけ幾何学的な計算原理に関してはほぼ解明されている．基本的には，シーンや物体表面上の同一点を複数. センサ），加速度センサ，磁気センサ（特に地磁気を. 画像上で安定して特定する（画像追跡や画像間の対応. 検出するもの）などがある．角速度センサの出力する. 付けと呼ばれる）ことさえできれば，3 次元形状の復. 角速度を 1 階積分することで姿勢（変化）を，加速度センサを使って重力加速度方向を検出することで傾斜角を，磁気センサでは地磁気を検出することで姿勢角を，それぞれ求めることができる．. 元やカメラの運動・光学パラメータの推定など，今や相当うまく出来るようになっている．今でも難しいとされているのは画像間の対応付けつまり複数画像上で同一点を特定することである．その. 位置を計測するセンサで，上述の柔軟性の要件を満たすようなものはほとんどない．GPS は少ない例外と言え，実際にカメラと GPS を組み合わせた手法はよ. 難易度は，画像の性質に大きく依存する．中でも，ビデオカメラを使って画像系列を撮る場合と，スチルカ. メラを使って特に離れた視点での画像を撮影する場合く研究されている．しかしながらそのような GPS も，（ワイドベースラインステレオと呼ばれる）では，事対象とできる空間は屋外で，また基本的には一定以上. 情が大きく異なる．基本的には，前者はそれほど難し. の大きさの空間を対象とする場合に限定されよう．ま. くなく，後者は相当難しい問題であるとされる．前者. た，使用上の制約も少なくない．. では例えば，Lucas-Kanade-Tomasi のアルゴリズムこのようなことから，本稿では上に挙げたような，（通称 LKT トラッカー）などで特徴点を追跡し，そ姿勢あるいはその変化量を計測するセンサのみを考えの後 RANSAC に代表されるロバスト推定の方法で外る．部品レベルでは，計測する物理量の違いによって，れ値を取り除けば，大抵の場合うまく行く．しかしな上に挙げたように複数の種類があるが，多くの製品はがら，ワイドベースラインステレオ画像については決これらの異なる種類のセンサを複数個組み合わせたも. 定打は今のところない．. のである．これは，測定可能なデータの種類を増やす. 次に，姿勢に関する量を計測するメカニカルセンサ. 目的に加え，異なるセンサの情報を統合することでド. の利点と欠点について考える．まず考えておかねば. リフトを低減したりキャリブレーションを行うといっならないのが姿勢角の計測精度の問題である．画像をた目的に利用されているためでもある．使った応用では一般に高い精度が必要となる．現在のこの後，まず第 2 節で，上述のような姿勢センサと. ところ，メカニカルセンサからカメラの 3 自由度の姿. カメラの組み合わせからなるシステムについて，主に. 勢角を得ようとしても，画像による幾何学計算（特に. 有用性や応用の観点から著者の考えを述べる．第 3 節. 良条件下のもの）を，「完全に」置き換えるほどの精度. ではセンサの出力とカメラの姿勢の関係を定式化し，を期待するのは一般には無理なようである．これは，第 4 節ではシステムのキャリブレーション方法につい 3 自由度の姿勢角，特に運動中の値を得るには，今のて概要を述べる．第 5 節で，著者らが行ってきた研究. ところ角速度センサ（ジャイロセンサ）を使うしかな. について述べる．. いことによる．この場合，姿勢＝角度を得るには生のデータである角速度を時間積分することになるが，その過程で誤差の蓄積によって精度は一般に低下してし. 2. カメラに取り付けたセンサから何を得るか. まう．絶対量を検出するセンサであれば，この種の誤差の蓄積やあるいはセンサのドリフトといった問題には強. メカニカルセンサをカメラに取り付ける目的は，カ. い．そのようなセンサに，地磁気を検出して姿勢を算. メラ単体では不可能であるか何らかの困難さを伴う問. 出する磁気センサや，重力加速度方向を検出して傾斜. 題・カメラに不得手な領域の問題を，センサに肩代わ. 角を算出する傾斜角センサがある．磁気センサは周囲. 2 −124−.

(3) 環境に左右される不安定な面があって使いにくいが，ンサが利用できるようになることが大きい．注目すべ傾斜角センサは極めて安定で精度も十分である．ただ. きは，この方式のセンサが相当高い精度を持つことで. し，傾斜角センサは基本的に加速度センサであるため，ある．傾斜角は 3 自由度の姿勢角の 2 自由度分でし運動中の姿勢を知ることはできず，静止姿勢のみが対. かないから，残りの 1 自由度分（方位角，ヨー角と呼. 象となる．. ばれる）は傾斜センサだけでは不定である．したがっ. 姿勢角を得ることを諦め，瞬時の姿勢変化すなわち. て傾斜センサのみを使うとすれば，精度は高いが姿勢. 角速度をそのまま利用することにするならば，それを. の部分的な情報しか得られない状況で，何か有用なこ. 計測する角速度センサには十分な精度がある．実際，とを実現できるかという話になる．あるいは残りの 1 この種のセンサはビデオカメラやスチルカメラでの手自由度たる方位角を，角速度センサと積分計算によっブレ補正に従来より応用されており，広く成功してい. て算出して利用することも考えられる．少なくとも運. る．故に短い時間ならば，角速度センサの出力を使う. 動中の姿勢を計測することに比べれば，傾斜センサか. のは精度の面では十分だと思われる．. ら傾斜角が決まることは計測精度の面で大きなプラス. 以上を踏まえると，実際的なのは消去法によって，である．ビデオカメラと角速度センサの組み合わせ，ないしは. われわれは以上のような考察に基づいて，スチルカ. スチルカメラと静止姿勢を測る姿勢センサの組み合わ. メラに加速度センサと角速度センサからなる姿勢セン. せということになる．. サを取り付け，画像撮影時のカメラの静止姿勢を，3. まず，ビデオカメラと角速度センサの組み合わせに. 自由度全て，あるいは傾斜角の 2 自由度分のみを計測. ついて考える．上述のように，ビデオカメラで得た画. し，カメラだけの画像処理では難しい問題を解決する. 像系列では，特徴点を追跡することがそれほど難しく. 方法を研究してきた．以下では，そのようなセンサと. ないので，そもそもセンサを追加する必要があるかど. カメラの組み合わせを使う方法について，われわれが. うかという問題がある．つまり角速度センサを，単な. これまで考えてきた応用を説明する．その前に，この. る手ブレ補正ではなくより高度な幾何学計算に組み込. 種のシステムで重要な問題となる，カメラとセンサの. むことができるかどうか，である．例えば，シーンに. 内部の座標表現の違いを校正する方法について，簡単. テクスチャが少なく，信頼できる特徴点そのものが十. にまとめる．. 分な数だけ取り出せない場合に，センサの情報を「補完的」に使うことが考えられる．実際，特徴点を取り出せないような好ましくない画像が，画像系列内で「断続的に」現れるという場合はあるだろう．このとき，そのような画像が現れている時間だけ，角速度センサの出力を利用して特徴点追跡の精度を向上するなどが考えられる．しかしその場合には，瞬時の角速度. 3. カメラの姿勢と姿勢センサの出力まず最初に，姿勢センサの出力がカメラの姿勢と実. 際にどう結びつくかを整理しておく．. でなくある程度の長さの時間に渡るその積分を使うこ. センサが出力する姿勢角は，センサ内部で想定する. とになってしまうので，最終的にどのくらいトータル. ある「基準姿勢」からの変量としての角度である．こ. の性能が向上するのかは積分時間の長さなどの要因と. れを記述するため，センサの本体に仮想的に固定した. 精度の関係に依存すると言え，その見極めは簡単では. 座標系を導入し，これをセンサ座標系を呼ぶことにす. ない．. る．理屈の上ではセンサ座標系はセンサのパッケージ. 次にスチルカメラと姿勢センサの組み合わせについ. に仮想的に固定されていさえすればよいが，重力加速. て考える．上述のようにワイドベースラインステレオ. 度方向が主要な役割を果たす関係から，簡便性のため. での画像間の特徴点の対応付けは一般に相当難しい. センサが基準姿勢をとるとき，座標系の Z 軸方向が. 問題であるから，それが何であれ画像外の情報を取り. 重力加速度方向と一致するようにセンサ座標系を決め. 込むことにとりあえず合理性はある．この場合，カメ. ることにする．そして，センサ座標系を s と記し，セ. ラの静止姿勢さえ測れればよいことは一つの利点とな. ンサが基準姿勢をとるときのセンサ座標系を特に s0. る．運動中の姿勢（この場合角速度でなく絶対値）よ. と記することにする．. りも，静止姿勢の方が比較すればより精度良く計測で. s0 から s への座標変換を Ts0,s ，その回転成分を Rs0,s （回転行列）と書く．センサが計測するのはこの Rs0,s （あるいはその一部）である．センサがロール・ピッチ・ヨー角表現 (α, β, γ) をとる場合，Rs0,s. きると考えられるからである．静止姿勢であれば，傾斜センサ，つまり重力加速度を加速度センサで検出し，傾斜角を計測する方式のセ. 3 −125−.

(4) と書き換えられる．この式にしたがってセンサの出力を元にカメラの姿勢を計算することになる．通常カメラの姿勢は絶対量としてではなく，カメラにとっての基準姿勢（第 1 枚目の画像撮影時の姿勢など）に対する相対的な姿勢変化のみを用いるので，ワールド座標系とセンサ基準座標系間の座標変換—Z 軸周り角度 φw,s0 の回転—はキャンセルされて知る必要がない（c → c0 は Rc,c0 ≡ Rw,c0 Rc,w となり φw,s0 は相殺さ図 2: センサの基準系 s0 ，ワールド座標系 w，カメラ. れる）．. 座標系 c，センサ座標系 s の関係. 4. は. Rs0,s = Rx (α)Ry (β)Rz (γ),. (1). と表記される．. キャリブレーション本節では (3) 式の Rsc を計算する方法について述べ. る．センサの取り付け時に，機械的にイメージセンサ. さらにこれとカメラの姿勢の関係を導くために 2 つ. とのアラインメントをとって例えば Rsc = I などと. の座標系を導入する．一つは空間に固定のワールド座. することも考えられるが，ここではカメラで画像を何. 標系 w で，利便性を考慮し Z 軸が重力加速度方向と. 枚か撮影し，その時のセンサの出力から Rsc を推定. 一致するように選ぶ．もう一つはカメラ座標系 c で，する方法について述べる．これはいつものように座標原点が光学中心に，Z 軸が. 以下では，センサが 3 軸の姿勢角すべてを出力する. 光軸にそれぞれ一致し，X, Y 軸が画像の横縦とそ. 場合にそれらを利用する方法と，センサが傾斜角のみ. れぞれ平行になるように選ぶ．ワールド座標系 w か. しか出力しない（あるいは恣意的に傾斜角のみしか使. らカメラ座標系 c への座標変換とその回転成分をそれ. わない）場合の方法の 2 つを述べる．. ぞれ Tw,c ，Rw,c と書くことにする．センサとカメラは一つの剛体として空間を移動するから，センサが出力する姿勢角 (α, β, γ)（あるいはその一部）は，上の Rw,c と関連付けることができる（図. 2）．図 2 の関係から，センサの現在の姿勢 s0 からカメラ座標系 c への変換 Ts0,c と，上で決めたワールド座標系 w からセンサの基準系 s0 への変換 Tw,s0 ，さらに s0 から s への変換 Ts0,s の合成変換として，Tw,c は Tw,c = Ts,c Ts0,s Tw,s0 と書ける．それぞれの回転成分についても Rw,c = Rs,c Rs0,s Rw,s0 .. (2). が成立する．この式の右辺で，まず Rs,c はセンサとカメラ間の座標変換の回転成分である．これは事前. 4.1. 姿勢角全てを出力するセンサの場合. 最初にセンサが姿勢角 3 自由度分すべてを出力する場合のキャリブレーションについて述べる．この問題は，ロボットビジョンで言うハンドアイキャリブレーションと同じである [8, 9]．Rc,s の計算は，回転を伴う姿勢変化の際，物理的には同一である回転の，回転軸の表現がカメラとセンサの座標系で異なる表現をとることを利用して行う．まず，カメラとセンサの複合体を空間内で動かし，複数の静止姿勢 i(i = 1, . . . , n) をとらせる．そのときのカメラとセンサの座標系をそれぞれ ci , si と書くことにする（図 3）．姿勢 i から j への座標変換をカメラとセンサでそれぞれ Tci,cj ,. Tsi,sj と書く． Tci,cj , Tsi,sj の回転成分を回転行列 Rci,cj , Rsi,sj との決定方法は次節で述べる．Rs0,s は (1) 式に与えた書く．これらの回転の回転軸をそれぞれ ni,j , mi,j と通り，センサ出力する姿勢角と対応する．Rw,s0 は，ワールド座標系 w とセンサの基準座標系 s0 を Z 軸する．すなわち Rci,cj ni,j = ni,j , Rsi,sj mi,j = mi,j が重力加速度にともに重なるように決めたことから，である．ベクトル ni,j , mi,j の大きさを |ni,j | = |mi,j | Z 軸周りの回転行列のみで表現できる．その回転角をと揃えれば次が成り立つ． φw,s0 とすると，上の式は Rc,s ni,j = mi,j (4) のキャリブレーションで決定すべき未知数であり，そ. Rw,c = Rs,c Rx (α)Ry (β)Rz (γ)Rz (φw,s0 ) = Rs,c Rx (α)Ry (β)Rz (γ + φw,s0 ).. ここから，Rc,s を決定する．姿勢変化 i → j に対し， (3) カメラとセンサそれぞれで回転軸の方向 (n , m ) を i,j i,j. 4 −126−.

(5) で γj − γi が決まらなず，そのままでは Rc,s の計算ができない．そこで，カメラとセンサが回転を共有することを改めて利用する．前節では，両者の座標系の間で姿勢変化にともなう回転の軸方向の表現が異なる，ということがキャリブレーションの基礎となった．ここでは，姿勢変化に伴う回転の回転角度が両者で等しい，という（キャリブレーションそのものには意味のない）条件を逆に利用する．つまり，カメラ側の静止姿勢間変化 Rci,cj は画像から計算するとして，その回転角 calibration object/pattern. θci,cj が，センサ側の回転角 θsi,sj と同一になるはずだということである．これはヨー角 γj − γi の 1 自由図 3: 複数の静止姿勢間の回転から Rc,s を決定する．度分不定な R si,sj に 1 自由度分の拘束を与え，そこから γj − γi が決定できる．そうやって Rsi,sj を完全求める．前者は参照物体を使ったカメラキャリブレーに決定できれば，センサ側でも回転軸の方向を補完的ション∗ よって，後者はセンサの出力からそれぞれ求に推定できるから，その後は前節の方法によって Rc,s めることになる．ここではセンサは姿勢角全てを出力を計算できる．するので Rsi,sj ないし mi,j が得られる．この回転軸上述の条件は具体的には，Rci,cj と Rsi,sj の回転角のペア (ni,j , mi,j ) １つで，Rc,s に対する 2 自由度の θ ci,cj , θsi,sj を使って，|θci,cj | = |θsi,sj | と表される．拘束を (4) 式から得る．Rc,s を決定するには，2 ペア回転角は回転軸の向きの符号分の自由度があるので，以上の回転軸の組があればよいことになる．このよう等号は角度の絶対値の間にのみ成り立つ．一般に回転な問題での回転行列の計算アルゴリズムはいくつか知行列 R に対してその回転角を θ で表すとき，その余られている．誤差を含む場合の計算方法を含め，それ弦は行列のトレースを使ってらについては [10] に詳しい． 1 cos θ = (tr(R) − 1) 2. 4.2. 傾斜センサを用いたシステムのキャリと表すことができる．今の |θci,cj | = |θsi,sj | は，角度ブレーションの絶対値に関する等式であり，角度の余弦が等しいこ. 次に傾斜角のみから Rc,s を決定する方法について述べる．これは傾斜センサのみを用いる場合はもちろ. とと同値であるから，上の条件は行列のトレースを使って次のように書き換えられる：. ん，キャリブレーション精度の向上を狙ってキャリブ. tr(Rci,cj ) = tr(Rsi,sj ). レーションではわざと精度に信頼の置ける傾斜角のみ. (6). しか用いない，という戦略も考えられ，他のセンサ・利用形態の場合でも使用する合理性がある方法である．まず条件を整理すると，傾斜角しか得られないというのは，(1) 式のように表記するとき，ロール角 α とピッチ角 β のみが得られ，ヨー角 γ が得られないと. (5) 式を上の右辺に代入すると tr(Rci,cj ) = p cos(γj − γi ) + q sin(γj − γi ) + r, (7) を得る．ただし，. 言い換えられる．この場合も最終的には前節と同じ様に，静止姿勢間の姿勢変化 i → j に伴う回転を共通の. p≡. X. X. akl blk. (8a). ak2 b1k − ak1 b2k. (8b). ak3 b3k. (8c). l=1,2 k=1,2,3. 観測として，キャリブレーションを行う．しかしなが q≡. ら，姿勢間の回転 Rsi,sj は. X. k=1,2,3. Rsi,sj = Rx (αj )Ry (βj )Rz (γj −γi )Ry (βi )> Rx (αi )> , (5) であるが，今の場合センサのヨー角が未知なためここ ∗ 静止姿勢が最低. 3 つ必要であることなどから Zhang のアルゴリズム（平面パタンの 3 枚の画像からカメラの内外パラメータを計算する）が便利である．. r≡. X. k=1,2,3. であり，さらに akl ≡ (Rx (αj )Ry (βj ))kl , bkl ≡. (Ry (βj )> Rx (αj )> )kl (k, l = 1, 2, 3) である．表記を簡単にするため r0 ≡ r − tr(Rci,cj ) とし，(7) 式を解. 5 −127−.

(6) くと，次の 2 つの式を得る（符号同順）： p −(pr0 ± q p2 + q 2 − r2 ) cos(γj − γi ) = , (p2 + q 2 ) p −(qr0 ∓ p p2 + q 2 − r2 ) sin(γj − γi ) = . (p2 + q 2 ). (9a) (9b). これらの式の右辺はすべて既知の量：傾斜角 (α, β) と. 図 4: 撮影した 12 枚の画像の中の 1 枚．直線は他のカメラの姿勢変化の回転成分 Rci,cj である．したがっ視点の画像における物体の輪郭を空間に逆投影してでて γj − γi を計算することができ，センサの姿勢変化きる錐を動画像上に投影したもの．左はカメラの位置の回転成分 Rci,cj を完全に決定できる．. が計算されていない初期状態，右は反復計算終了後カ. ただし，(9) 式には 2 通りの解が存在する．そのた. メラの位置が正しく推定された状態．. め Rsi,sj も 2 通り存在してしまうので，これを定めなければならない．この決定は，再び回転角が等しいことを使い，次のようにすれば可能である．3 つの静止姿勢 i, j, k 間の姿勢変化 i → j → k を考えると，対応する回転行列 Rsj,sk Rsi,sj は上で求まる 2 通りの組み合わせで 4 通りあることになる．しかしこれは実際には Rci,ck と等しい回転角を持つはずであるから，それを条件として正しい Rsi,sj と Rsj,sk を選べば良い．. 4.2.1. 画像上にて重力加速度方向を利用する場合. 図 5: 復元された立体形状. ラはニコン製の D1 を使用した（図 1）．. 画像上で重力加速度方向を特定できる場合，上のように姿勢変化を使う必要がない．例えば平面キャリブレーションパタンを正確に水平面（重力加速度方向に垂直なる面）と平行に置き，その画像からカメラ座標系での重力加速度方向を求める．(4) 式にて，n をカメラ座標系での重力加速度方向，m をセンサ座標系での重力加速度方向にそれぞれ置き換えれば，後は同じアルゴリズムで Rc,s を計算できる．この方法は [3] で述べられている．しかしながらこの方法には，水平面上にキャリブレーションパタンを置くなど，画像と重力加速度方向を物理的に結びつける不便さがある．まず，センサが出力する重力加速度方向が，正確に重力加速度方向かどうかもチェックする必要があろう．また，通常の傾斜センサでは計測可能な傾斜角の上限下限はさほど広くないので，2 つの座標系空間内で n と m を程よくばらつかせるようなデータを得るのが難しく，計算精度に問題が起る可能性も留意すべきである．. 5. 応用と実験結果本節では，著者らが上述のカメラと姿勢センサを組. み合わせたシステムを使ってこれまで行ってきた応用研究について述べる．以下の全ての実験で，姿勢センサはデータテック製「VR センサ」GU-3011 を，カメ. 5.1. 姿勢角：輪郭からの立体形状復元. 図 1 のようなカメラを手に持って一つの物体の周囲から 8 − 30 枚程度の画像を撮影し，物体の輪郭から 3 次元形状を復元する方法を考案し，実験を行った. [4]．センサからは姿勢角 3 自由度すべてを得，使っている．画像間の点対応に基づく幾何学計算は一切行わず，画像から取り出した物体の輪郭形状と姿勢角の情報から，各画像撮影時のカメラの位置を計算する方法とした．なおカメラの内部パラメータは既知としている．反復的な計算アルゴリズムによってカメラの位置を計算し，その後輪郭から立体形状を復元（shape. from silhouette）する．図 4 に，ある視点の画像上で，対象物体の輪郭と，同時に他の画像からの輪郭線を射影してできる直線群を重ねて表示したものを示す．同図左が反復計算の初期状態であり，右図が収束後の状態である．右図では，他の視点からの輪郭を延長した直線が輪郭にきっちり外接している様子が見て取れ，これがカメラの位置が正しく推定されていることを表す．復元された 3 次元形状の例を図 5 に示す．センサの姿勢角の精度（方位角の精度）は完璧ではないとはいえ，図に示した程度の 3 次元形状を復元することは可能である．. 6 −128−.

(7) 図 6: ワイドベースラインステレオ画像の一例．特に平面状の物体が少ないことがネックとなる場合．. 図 8: 傾斜角センサから求めた地平線（図中白線）と水平な直線の交点として無限遠点が決まる. 5.3 5.3.1. 傾斜角の利用地平線の計算と方位角の算出. 前節までに述べたように，傾斜角センサが出力する傾斜角には高い精度が期待できる．そこで，傾斜角だけ，つまり方位角の 1 自由度分カメラの姿勢に不定性が残った状態で，有用な応用が可能かどうかに関心が図 7: 推定されたカメラの位置を元に作成した仮想的な平行ステレオ画像．頁の平行線が両画像のエピポーラ線となる．. 向く．まず，カメラの内部パラメータが既知であるとすれば，傾斜角を用いると，ただちに画像上の地平線—つまり水平面（=重力加速度方向に垂直な平面）の消失. 5.2. 姿勢角：ワイドベースラインステレオ線—が計算できる．水平面は，建造物などわれわれの生活空間に沢山あるから，画像上でも水平面を何らかの画像間対応付けの形で利用できれば，傾斜センサと画像の情報を連携. 上と同じ姿勢センサ＋スチルカメラのシステムで，することで，幾つかの応用が可能になる [6, 7]．一つのシーンの 2 枚の画像を離れた視点から撮影し，例えば，水平面上の一本の直線（つまり水平な直画像間の点に基づく対応を求める方法を考案し，実験. 線）があって，それが画像上で特定できれば，無限遠. している [5]．ここでもセンサからは姿勢角 3 自由度す. 点を同定することができる．なぜなら，その水平な直. べてを得，カメラの内部パラメータは既知とした．2. 線と，上述の傾斜角のみから計算される画像上の地平. 枚の画像間の関係は基本行列で記述されるので 5 自由. 線との，画像上での交点が無限遠点となるからである. 度だが，カメラの姿勢がセンサから分かるとしている（したがって必要な計算は画像上で 2 直線の交点を算ので，2 自由度しか不定性はない．このことから，ラン出するだけ）．一例を図 8 に示す．無限遠点を特定でダムサンプリングに基づくアルゴリズム (RANSAC). きれば，そこから不定だったカメラの方位角を決定す. ではなく，パラメータ空間（2 自由度なので平面）で. ることが可能となるので，したがってカメラの姿勢角. の投票に基づく推定を行うことができて，精度と計算. を完全に決められる．このとき，水平面上の一直線を. 時間を改善できる．さらに，対応点の候補を計算する. 画像上で特定できさえすれば良いことに注意する．つ. 前処理の段階で，カメラの姿勢が既知であることから，まり，カメラを動かして画像を撮影する際，同じ一本両画像を並進カメラによって得たものに仮想的に投影の水平な直線（あるいはそれと平行ないし，なす角のし直す（rectification）ことで，対応点の候補の計算. 分かった水平な直線）を常に画像系列内に捉えること. 精度を向上させられることも利点となる．結果の一例. ができさえすれば，方位角すなわちカメラの姿勢が完. を図 6, 7 に示す．図 6 はオリジナルのステレオ画像. 全に決定できるということになる．. であり，図 7 は対応点算出後，推定したパラメータによって（並進ではなく）平行ステレオの画像対へと変換したものである（つまり図の頁に対する平行線がそ. 5.3.2. パノラマ画像の生成. のまま左右のエピポーラ線となる）．対応点が算出し. 同様の考え方で，センサの出力する傾斜角を使った. ずらいシーンであっても，ロバストに対応を算出する. パノラマ画像の生成方法を研究している [7]．パノラ. ことができている．. マ画像は一般に，その場でカメラを回転させながら風. 7 −129−.

(8) 6. まとめ角速度や加速度を計測するメカニカルセンサとカメ. ラを組み合わせたシステムにより，カメラ単体では難しい問題をより安定に解く方法について述べてきた．メカニカルセンサの計測精度を考慮した場合，カメラの静止姿勢を角速度センサと加速度センサで計測するのが有利だと思われること，一番良いのは傾斜角センサで傾斜角のみを計測する場合であることを述べ，それぞれの場合のキャリブレーションの方法を示すとともに，いくつかの応用についても述べた．運動を計測するセンサの精度が今後向上することと，加えて低価図 9: その場でカメラを回転して撮影した遠方の風景の画像 4 枚. 格化も進むだろうこと期待すると，メカニカルセンサとカメラの融合システムの現実性はより増してくると考えている．. 参考文献 [1] T. Mukai and N. Ohnishi. Object shape and camera motion recovery using sensor fusion of a video camera and a gyro sensor. Information Fusion, Vol. 1, No. 1, pp. 45–53, 2000. [2] 向井利春. 「ビデオカメラとジャイロセンサを用いた三次元形状復元」と「柔軟な面状触覚センサ」. 第 67 回パターン計測部会研究会（計測自動制御学会）.. 図 10: 図 9 の画像から，センサから傾斜角を得，画像上の 1 点だけを目印に方位角を推定して作成したパノラマ画像. [3] J. Lobo and J. Dias. Vision and inertial sensor cooperation using gravity as a vertical reference. PAMI, Vol. 25, No. 12, pp. 1597–1608, December 2003. [4] 岡谷貴之, 出口光一郎. 視点の位置が不明な画像系列における物体の輪郭形状の重ね合わせ：ジャイロセンサを用いた輪郭からの三次元形状復元. 画像の認識・理解シンポジウム（MIRU2000）講演論文集, 2001.. [5] 岡谷貴之, 出口光一郎. 3 次元向きセンサを取付けたカメラによる対応点が未知の複数枚の画像を用いた投票によるカメラの並進運動の推定. 情報処理学会研究報景の画像を複数枚撮影し，それら画像から作成する．告 CVIM129-4, pp. 25–32, 2001.. 回転のみで移動を伴わないカメラで撮影した画像は， [6] 久保田俊作, 岡谷貴之, 出口光一郎. 傾斜センサと画像とを融合したカメラの姿勢推定法. ロボティックスシ互いに 3 × 3 ホモグラフィー行列で結ばれるが，これは画像間で 4 点以上の対応が得られれば計算できる．通常，そのような画像間の対応は，シーンの同一の点（特徴点）を視野が重なる画像間で特定することで求めている．しかしながら，シーンや画像の条件によっては，たった 4 点であっても条件の良い特徴点が抽出できないことがたびたび起る．センサから傾斜角を読. ンポジア予稿集, pp. 318–323, 2004.. [7] 久保田俊作, 岡谷貴之, 出口光一郎. 傾斜角センサを取り付けたカメラの高精度な姿勢推定法. 画像の認識・理解シンポジウム（MIRU2004）講演論文集, 2004. [8] R. Y. Tsai and R. K. Lenz. A new technique for fully autonomous and efficient 3d robotics hand/eye calibration. IEEE Transactions on Robotics and Automation, Vol. 5, No. 3, pp. 345–358, 1989.. み取ることで，そのような画像に対する要求を低減で. [9] R. Horaud and F. Dornaika. Hand-eye calibration. The International Journal of Robotics Research, Vol. 14, No. 3, pp. 195–210, 1995. したので，残りの未知数はカメラの方位角のみである．これは画像上で無限遠にある（と仮定した）点を一つ [10] 太田直哉, 金谷健一. 3 次元回転の最適推定と信頼性評価. 電子情報通信学会技術研究報告, Vol. PRMU97-123 だけ選ぶことで決定でき，そのようにした例を図 9, (1997-10), pp. 17–24, 1997.. きれば価値がある．カメラの内部パラメータは既知と. 10 に示す．それぞれ元の画像とパノラマ画像である．. 8 −130−.

(9)