アクティブカメラシステムを用いた3次元形状の獲得

全文

(1)社団法人情報処理学会研究報告 IPSJ SIG Technical Report. 2004−CVIM−142 (4) 2004／1／22. アクティブカメラシステムを用いた 3 次元形状の獲得元. 鍾勲†. 諸岡健一††. 長橋宏††. 従来のステレオ視はカメラパラメータを固定し，3 次元計測を行う研究が多い．本研究ではシーン全体の距離計測を行った後，シーンの中の物体ごとに計測を行い，シーンと各物体との位置関係や物体間の位置関係を確立することにより実空間に近い３次元情報を獲得することを研究の目的とする．物体ごとの計測を行う際，カメラの向きや解像度を調節しながら必要に応じて注目したい物体を計測することにより能動的に３次元計測を行い，計測時間の短縮とデータ量の削減をはかる．. Acquisition of three-dimensional shape with an active camera system Jonghoon Won†. Kenichi Morooka††. Hiroshi Nagahashi††. There have been a number of studies, which were performed for 3-dimensional measurement by means of fixed camera parameters. In this paper, we will perform 3-dimensional distance measurement in the whole scene, and then measure distance of each object in the scene. It is our aim to establish the position relation between a scene and each object, and the position relation among the objects. When we perform 3-dimensional measurement, we will measure an object by adjusting focus length and resolution to the property of each object. Our methodology makes it possible to perform 3-dimensional measurement actively and to shorten the measurement time, and to reduce the amount of data. 測定するものである．しかし，カメラだけでなく. 1 はじめに. 投影する装置が必要であるため費用がかかるなどの問題がある．また，物体の材質によって投影さ. 1.1 研究背景. れたレーザ光に歪みが生じるなど，使用できる物. 近年，実空間での３次元距離データの獲得は，. 体に制限がある．. 仮想世界を現実世界に融合させる｢仮想現実｣ [6][7]，視覚障害者を支援する｢障害者支援｣[8]，. もうひとつの距離計測法は，受動型 3 次元計測法と呼ばれるものであり，その代表的なものにス. カメラと対象物体間の相対的な位置関係を用いる. テレオ視がある．ステレオ視とは，平行に設置さ｢自動航海｣[9]など，様々な分野で用いられている．れた 2 台のカメラから同一対象を撮像し，各画像また，それ以外にも，認識技術との組み合わせ様々上の投影位置のずれに基づいてカメラから物体まな種類のロボットにも応用されるなど，Computer Vision の分野で、最も重要度の高い課題となっている．. での距離を計測するシステムである．その画像を取得する際に，人間の視覚と同様に受動的に観測するところに特徴がある．ここでいう受動的とは. 距離計測法は大きく２つに大別される[１]．ひ. 光を投射したり照明を制御したりと対象物体に能とつは，能動型 3 次元計測と呼ばれるものである．動的に働きかける事はしないという意味である．この方法は，物体にレーザ光や超音波などを投影能動型と比較すると，特別な装置が必要でなく，し，その反射を観測することで物体までの距離を †. 東京工業大学大学院総合理工学研究科 Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology †† 東京工業大学大学院理工学研究科 Graduate School of Science and Engineering, Tokyo Institute of Technology. 加えてこの手法は対象物体に制限がないという利点がある．本研究では，ステレオ視を用いて３次元計測を行う．一般的なステレオ視による 3 次元計測法は，カメラの向き，焦点距離が固定で，計測領域に制限. −23− -1-.

(2) がある．しかし，実空間のなかには、様々な物体. わる方向とする．そして，ワールド座標系の原点. が散乱しており，物体ごとの適確なカメラパラメ. は，各カメラの焦点の中点である．このようにワ. ータはそれぞれ違うものである．本研究では，カメラの向きや焦点距離を自動的. ールド座標 ( X , Y , Z ) を定めたとき，空間中にあ. に調節しながら 3 次元計測を行うアクティブカメ. る点 P ( X , Y , Z ) が，左画像内の点 ( x l , y l ) ，およ. ラシステムを構築する．. び右画像内の点 ( x r , y r ) に投影されたとする．このとき以下の関係式[2][4]が成立する．. 1.2 研究概要本論文が提案する手法の大まかな流れを述べる．. X =. b( xl + x r ) 2d. Y=. b( y l + y r ) 2d. まず，シーン全体の大まかな距離計測を行う．次に，シーン内にある各物体の 3 次元計測に必要なカメラの向きや焦点距離などを決定する．この決定に基づいてカメラを調整した後，各物体の 3 次元計測を行う．上述の処理により，各物体間の位置関係を正確に知ることができる．しかし人間は，シーン内にある全ての物体に興味を持つ場合もあれば，1 つの物体だけに集中する場合もある．同様に，本研究のシステムにおいても，シーン内にある物体すべてに対して計測を行い，位置関係を確立する必要はない．本研究の目的は２つである．一つは，カメラの. (2.1) (2.2). bf (2.3) d 但し， f は焦点距離であり，b は基線長である．また d は視差と呼ばれ，d = xl − x r である．関係式のパラメータの中で， f と b は既知である．したがって，点 P の左右の投影座標のずれ，つまり視差を求めることで，3 次元座標値 ( X , Y , Z ) が計 Z=. 算できる．. P( X ,Y , Z ). 向きと解像度の調節ができるアクティブカメラシステムを構築することである．もう一つは，本システムによる物体の３次元計測法を確立すること. Yl. である．じて解像度を調節することで 3 次元計測精度を向. Xl Y Z. f. 上させることができる．また，必要に応じた物体のみの計測で計測時間の短縮やデータ量の削減が. Yr. (xl , yl ). これらの目的の達成により，ユーザの要求に応. Cl. X. できる．. b. 2 ステレオ視に基づく 3 次元計測. Fig.1. (xr , yr ) Xr Cr. 平行ステレオ視. 2.2 対応点の探索. 2.1 ステレオ視の原理ステレオ視とは，異なる視点から同一の対象を観測し，そのそれぞれの画像上への投影位置の違いから，対象の 3 次元位置情報を得るものである[2]．ステレオ視の最も単純な構成は，焦点距離が等しいカメラ 2 台が，各カメラの光軸が互いに平行で，かつ各々の画像面が同一平面上に載るように配置されている場合である(Fig.1)． Fig.1 に示すように，ワールド座標系 X 軸は，. ステレオ視の原理では，一方の画像上に投影された各点に対し，その他方の画像からその対応点を求めなければならない．これはステレオ視における対応付け問題[3]と呼ばれるものである．しかし，シーンによっては似たようなパターンが随所に存在することがある．また，異なる視点からの投影による幾何学的歪み，カメラ特性の違い，ランダムノイズ，オクルージョンなどが生じる．こられの原因により完全な対応付けは非常に難しい．. 両カメラの焦点を結ぶ直線に平行な方向とする．. この対応点探索問題はコンピュータビジョンに. また Z 軸は，X 軸に垂直で且つ画像面と垂直に交. おける主要な研究分野として長年研究が行われて. −24−. -2-.

(3) おり，この問題の解決法が多数提案されている. ピポーラ線は画像内の同じ高さの画素列となる．. [10]．これらの手法は主に２つに大別できる．ひ. したがって，対応点探索は同じ高さの画素列のみ. とつは，注目点の周囲にウィンドウを設定し，そ. で行えばよい．. のウィンドウ内の局所的なパターンから対応点を探索するブロックマッチング法[5]である．もうひ. 3 アクティブカメラアクティブカメラシステムカメラシステム. とつは，画像上からエッジなどの特徴を抽出し，両画像の特徴間で対応付けを行う特徴法[4]であ. 3.1 システムの構成カメラは SONY 製の EVI-D30 を２台使用する．. る．本研究では前者を用いて対応点探索を行う．. x+d. x. このカメラは，ズーム，焦点距離，パン／チルトのそとから制御するのが可能である．次に，カメラの設置状況について述べる．各カメラは，パン／チルトのどちらの角度も０度の状態を初期状態. Window. と呼ぶ．２台のカメラは，同じ高さで且つ，初期. Window. 状態のとき焦点の位置が同一直線上になるよう配置する．カメラ間の距離(基線長：Base line)は，. Left image. 今回 150mm とした．. Right image. 本研究のカメラの制御法は，以下の考えに基づ. x ：点の左画像での x 軸座標. d ：視差. Fig.2. く．一方のカメラの向きを大きく変えることによ. ブロックマッチング. Fig.2 に示すように，注目点の周囲にウィンドウ. って，両カメラの視線の差が大きくなる．これによって，撮像される共通部分が少なくなる問題が. を設定し，それをテンプレートとして他方の画像. ある．この状況を避けるために，２台のカメラの. の各画素との一致度を調べる．一致度の算出法と. パンの回転角度は常に同じ大きさとする． P( X , Y , Z ). しては，ウィンドウ内画素の輝度値の差分の２乗和(SSD)を評価に用いる．具体的な処理は以下の通りである．. SSD =. n. m. ∑ ∑ {Y. i =−n j =−m. L. Yl. ( xl + i, y l + j ) −. ( xl , yl ). YR ( x r + i + d , y r + j )} (2.4) 左画像上の点 ( xl , yl ) における輝度値を YL ( xl , yl ) ，右画像上の点 ( x r , y r ) における輝度値を YR ( xr , yr ) ウィンドウサイズを (2n +1) ×(2m +1) とすると，SSD は次のように計算 2. Cl (c x , c y , c z ). Y b. される．そして，この SSD の値が最小となる画素. Z X. ( xr , y r ). Yr. ZC. Xr. XC. C r (c x ' , c y ' , c z ' ). Fig.3 システムの座標系 Fig.3 は，本研究でのワールド座標系とカメラ座. を対応画素とみなし，視差 d を求める．ブロックマッチングにおける対応点探索では，画像内の全画素を用いると多くの探索時間を要す. Xl YC. 標系を示している．上述のカメラの設置状況下で，. る．この問題を解決するために，エピポーラ幾何. ワールド座標系の X 軸は，両カメラの焦点を通る. を用いて探索範囲を限定する．. 直線に平行で，且つカメラの背面を通るよう設定. 対応する各画像内の点と計測したい点の 3 点が. する．ワールド座標系のＺ軸は，カメラの初期状. のる面を形成する．これをエピポーラ面と呼ぶ．. 態においてその光軸と平行な方向に設定する．原. そして，この面と各画像面との交差によって得ら. 点はカメラの背面上の中心で，カメラの焦点と同. れる線をエピポーラ線と呼ぶ．この時，一方の画. じ高さのところに置く．カメラ座標系の各軸はワ. 像の点は，もう一方の画像のエピポーラ線上にあ. ールド座標系の各軸と平行で，原点はカメラの焦. るという特徴がある．平行ステレオ視の場合，エ. 点を結んだ直線上の中心のところに置く．. −25− -3-.

(4) 画像面の座標系の X , Y 軸は，それぞれ画像の. い物体は，できるだけ歪みの少ない画像の中央部. 横および縦方向に平行である．また，各カメラの. 分内で撮像することが望ましい．本研究では，こ. 光軸と撮像面との交差点を座標の原点とする．. の画像中央領域は，式(3.5)により得られる大きさ. S の正方形領域とし，その領域の重心が画像中心. 3.2 カメラパラメータの決定. と一致するように撮像する．. S = min(W , H ). 注目したい物体を計測するためのカメラの向き. (3.5). 但し，W は画像の幅， H は画像の高さを表す．. や解像度の決定法について述べる．. 次に，画像内の注目したい領域の大きさを，それ. １）カメラの向き画像面上にある各物体領域の重心を物体の特徴点 T (tx,ty,tz )とする．まず， T が各画像の中心に. を完全に覆う正方形領域の面積と見なす．この領域の１辺の長さ s は次式. s = max( w, h). なるように，両カメラをカメラ座標系のＹ軸周り. (3.6). に式(3.2)で与えられる回転角 σ だけ回転させる．を用いて決める．但し， w は注目物体の画像上の幅， h は高さを示す．このように，幅と高さを比. t tan σ = x tz. 較して画像面上の物体の大きさを決めることで，. (3.2). シーン内に含まれる様々な物体に適用できる．. 次に，回転後の左カメラの焦点 C l ' (cx’,cy’,cz’)か. らパン角 θ P ，チルト角 θ T をそれぞれ式(3.3)，(3.4). 式(3.5)および(3.6)を用いて，カメラの倍率 N は. S2 N= 2 λs. を用いて決める．. b tan θ P = 2d OT ty tan θ T = d CT. (3.3). (3.7). によって求める．ここで， λ は注目物体のズーム操作後のサイズに制限を置く閾値である．今回は. (3.4). λ = 4 とした．. − Z 平面上でのカメラ座標の原 3.3 対応点探索点と T 間の距離，b は基線長， d CT は X − Z 平面平行ステレオ視の場合，左画像の点の対応点は，但し， d OT は X. 上での移動後のカメラ Cl ' と T (t x , t z ) 間の距離で. 右画像中のその点と同じ高さの画素列を探索して. ある．. いた．しかし，カメラを回転させた場合，エピポーラ線が変化するため上述の関係が成り立たない．. 注目物体. そこで，本システムにおける対応点探索法を提案. T (t x , t y , t z ). する． 2 台のカメラを同じ大きさの角度で回転させたとき，エピポーラ線は，. θP. θT. Cl (c x , c y , c z ) Cl ' (c x ' , c y ' , c z ' ) Y. yr = (. YC. Z. σ. て対応点探索を行う．. 3.4 アクティブステレオ視におけるアクティブステレオ視における 3 次元位置の算出. C. X. (3.8). となる．本研究では，式(3.8)を満たす画素を使っ. ZC X. x r xl ' )( ) yl x r ' xl. Cr. 左画像に含まれる各画素について対応点を求め. Fig.4 カメラパラメータの決定. た後，注目している点の 3 次元位置を求める．し. ２）カメラの倍率. かし，2.1 節で示した式(2.1)∼(2.3)は，平行ステ. ズームの倍率 N は次のように求める．注目した. −26− -4-.

(5) レオ視を仮定して導出した式であるため，我々の. にも，カメラと対象物体間の位置関係からその調. 手法には適用できない．そこで，本システムにお. 節が必要であるなど，様々なアプローチから盛ん. ける 3 次元位置を求めるための式を新たに導出す. に研究されている[12][13]．本研究では，解像度の. る．. 調節による計測精度の向上と効率化を図る．一般的なズームカメラはズームの操作により焦. P( X ,Y , Z ). 点距離が変わらない特性がある．しかし，式(3.11) から明らかなように，ズームの操作から得た画像を用いて 3 次元計測を行う時，焦点距離が変わらなければならない．なぜならば，ズームの操作前. Yr. Yl ( xl , y l ). と操作後の両画像の視差だけ変わって，同じ物体. ( xr , yr ) θ. f. に対し，違う計測結果を得ることになる．このよ. Xl. Xr. うな問題を防ぐために，ズームを変更した時，対象の 3 次元位置を測るために使用する等価的な焦. YC ZC X. Cl. 点距離を求める．本研究ではこの焦点距離を等価 C. 焦点距離. Cr. f E と定義し，次にその求め方を説明する．. まず，座標が既知である点が描かれたボードをカ. b. メラの前に配置し，そこで固定する．そして，ボ. Fig.5 可変ステレオ視の原理 Fig.5 が示すように，ワールド座標系の点 P. ード内の各ドットの視差を求める．式(3.11)のうち，基線長 b と視差 d とカメラのふれ角θとワールド. f E を導くことができる．このようにして，各ズームに対する f E. ( X ,Y , Z , ) が左画像と右画像にそれぞれ ( xl , y l ) ，および ( x r , y r ) に投影されているとする．この時，カメラの焦点距離 f ，基線長 b ，パン角θを用いて， ( X , Y , Z ) はそれぞれ以下の. 座標の Z 値が既知であることから. 式で得られる．但し，焦点距離はカメラのキャリ. および計測精度の向上が可能になる．. ブレーションにより，あらかじめ求めて置く．. b( xl '+ x r ' ) 2d ' Zyl Y = f cos θ − xl sin θ X =. Z=. bf cos θ d'. (3.9). xl f f cosθ − xl sinθ. レーションに基づいた. f E の使用により，解像度，. 4 実験本論文で提案した手法の有効性を検証するための実験を行った．今回の実験では，物体抽出を容. (3.10). 易にするために，対象物体として大部分が白色の人形を，また背景に黒色のカーテンを用いた．そ. (3.11). して，物体色を用いて，注目する物体を決めた．. 但し，. xl ' =. を求めるキャリブレーションを行った．キャリブ. 4.1 カメラ向きの調節 (3.12). 人形をワールド座標の原点から Z 軸方向に 1000mm 離れたところに配置した後，各カメラの. xr f xr ' = f cos θ + x r sin θ. (3.13). d ' = 2 f sinθ + xl '− xr '. (3.14). 中央部にその人形が撮像されるようカメラの向きを調節する実験を行った．まず，平行ステレオ視で左右カメラからの画像を取得した． Fig.6(a)，(b)は，それぞれ左右カメラからの原. 3.5 ズームの操作による焦点距離の決定焦点距離は最も重要なカメラのパラメータで，３次元物体の認識，モデルの再構築などを行う際. 画像である．次に，両画像の対応点探索を行い，式(2.1)∼(2.3)を使って人形の大まかな 3 次元位置を求めた．Fig.7 は視差を濃度値に変換した視差マップである．. -5−27−.

(6) (a) 原画像（左）. (a) 原画像(左). (b) 原画像（右）. (b) 原画像(右). Fig.6 原画像（1000mm）. Fig.8 回転後の原画像. Fig.9. Fig.7 視差マップ. 回転後の視差マップ. 計測結果から得られた対象物体の重心の座標値. 平行ステレオ視の場合、視差が大きいほど探索. は ( 2,4,1009) である．これを用いて，式(3.3)およ. 領域は広がる。対象物体とカメラ間の距離が短い. び(3.4)を使ってカメラの向きに関するパラメータ. ほど、画像内の多くの点の視差が大きくなり、計. の値をそれぞれ θ P ＝4, θ T =0 と求めた．向きの調. 測時間が長くなる。カメラ回転前の原画像 Fig.6. 整を行った後左右カメラから取得した原画像をそ. と回転後の原画像 Fig.8 から見られるように、カ. れぞれ Fig.8(a)，(b)に示す．. メラを回転させた場合、左右画像の視差が小さく. Fig.6 と比較すると，画像の中央部に物体が撮像. なる。そのため，探索範囲が狭くなり，その結果. されていることが分かる．再び対応点探索を行い，対応点探索に要する時間が短くなる．実際，式(3.9)∼(3.11)を使って距離計測を行った．Fig.9. Pentium1Ghz のデスクトップマシーン上で、距離. はその計測結果である．. 計測を行った時間を図った結果を次に示す．. -6−28−.

(7) カメラ固定. カメラ回転. Fig.8 に比べると，より大きく物体を撮像できてい. 1 分 35 秒. 27 秒. ることが分かる．画像を背景領域と物体領域と分けた時，Fig.8 では物体領域のピクセルの数が 9894 であり，Fig.10 では，物体領域のピクセルの. 4.2 ズームの調節. 数が 33939 であった．ズームの操作により，カメ. 次に，画像の中央領域に物体が撮像されるよう. ラの解像度が上がったことが分かる．提案手法に. にズームの調節を行った．式(3.7)を用いて得られ. より距離計測を行い，Fig.11 に示す結果が得られ. た倍率は N = 4 であった．これにより，ズームの. た．ワールド座標の原点から Z 軸方向に 1000mm. 操作を行った．その時に得られた左右の原画像の. 離れたところに体表点を決め，ズーム操作前後の. 結果を Fig.10 に示す．. 距離計測を行った結果，それぞれ 1089(mm)， 983(mm)であった．ズームの操作により計測精度が上がったことが分かる．今回の実験では、背景を黒色にして、RGB の値に閾値を置き、背景は計測しないようにした。 Fig.7 と Fig.9 に示した結果で、画像の下部にも計測が行われている。それは背景が光の反射により、閾値内の RGB 値が与えられた結果である。. 5 おわりに (a) 原画像(左). シーンの中に存在する物体と，計測システムとの位置関係は様々である．このような状況下でシーンの 3 次元計測を行う際、各物体に対する最適なカメラパラメータは各物体の特徴やカメラまでの距離などによって違う。本研究では，物体ごとにカメラパラメータを調節しながら 3 次元計測を行い、要求される精度を持つ 3 次元データ空間を作るシステムを構築し，それを用いた 3 次元計測法を提案した。また、本システムにおける 3 次元位置を求める. (b) 原画像(右) Fig.10 ズーム操作後の原画像. ための式を新たに導出し、対応点を探索するためのエピポーラ線の式も導出した。実験を行い，カメラ向きの調節により，探索領域が狭まることで探索時間が約 70％短縮した．それから，ズームの操作により，解像度が約 3.4 倍向上し，計測誤差が約 80％減少した．今回構築したシステムは，単一物体に対するカメラの向きとズームの操作が可能である．しかし，カメラ向きの調節だけでは，ワールド座標の Z 軸上の物体しか注目できない．様々な物体が散在する実空間のなかで，注目可能な領域を広げるためには、カメラ座標の Z 軸の向きの調節と各物体に対するシーンの領域分割が必要である．今後の課. Fig.11 ズーム操作後の視差マップ. 題としてカメラ座標の向きも変えるシステムを構. −29− -7-.

(8) 築することが挙げられる．またカメラパラメータの調節に対し，より頑強な対応点探索法を求めることがあげらえる．シーンの領域分割は物体の色情報を用いる予定で，現在実験中である．. 参考文献 [1] 井口征士，佐藤宏介，“三次元画像計測”，昭晃堂． [2] 徐剛，辻三郎， “3 次元ビジョン” ，共立出版． [3] 松山隆司，久野義徳，井宮淳，“コンピュータビジョン –技術評論と将来展望−”，新技術コミュニケーションズ．. [10] Daniel Scharstein, Richard Szeliski “A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms” In IEEE Workshop on Stereo and Multi-Baseline Vision ( in conjunction with IEEE CVPR 2001) , pp 131–140, Kauai, Hawaii, December 2001 [11] Reg G.Willson, Steven A.Shafer “What is the Center of the Image?”, Journal of the Optical Society of America A vol.11,No11,1994, pp2946-2955 [12] W. Brent Seales, “Measuring Time-ToContact Using Active Camera Control”, CAIP 1995, pp944-949 [13] Peter Lehel, Elsayed E. Hemayed, Aly A. Farag, “Sensor Planning for a Trinocular Active Vision System”, IEEE International Conference on Computer Vision and Pattern Recognition(CVPR’99),Fort Collins Colorado. pp306-312. [4] 西川敦，小川晋平，丸典明，宮崎文夫， “アクティブなステレオ視からの隠れ情報に基づく面構造の復元”，電子情報通信学会論文誌 D-II， vol. J79-D-II，no.2，pp.153−164，1996 年 [5] T.Kanade and M.Okutomi， “A Stereo Matching Algorithm with an Adaptive Window: Theory and Experimet”，IEEE Transactions on Pattern Recognition and Machine Intelligence, vol. 16, no. 9, pp.920−932, 1994. [6] 佐藤. 清秀，山本. 裕之，田村. 秀行， “現実. 空間と仮想空間の位置合わせ手法‐ステレオカメラと３次元センサの組合せ‐”，画像の認識・理解シンポジウム(MIRU’98)論文集Ⅰ，IPSJ Symposium Series Vol.98，No．10，pp．Ⅰ−７．Ⅰ−１2 [7]. 佐藤いまり，佐藤. 洋一，池内. 克史，“全. 方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実画像への重ね込み”，電子情報通信学会論文集 861−871. D-Ⅱ Vol.J81-D-Ⅱ No．5 pp．. 1998 年 5 月. [8] Yoshihiro KAWAI, Makoto KOBAYASHI, Hiroki MINAGAWA, Masahiro MIYAKAWA, and Fumiki TOMITA, “A Support for Visually Impaired Persons Using Three-Dimensional Virtual Sound ” , Proc. International Conference on Computers Helping People with Special Needs, ICCHP 2000, pp.327−334, Karlsruhe, Germany, 2000.7 [9] 佐藤. 淳，木下. 敬介，ロベルト. チポラ， “曲. 面上のエピポ-ラ幾何と未校正カメラによる視覚誘導 ”，電子情報通信学会論文誌. D- Ⅱ. Vol.J82-D-Ⅱ No．9 pp．1401−1410 1999 年 9 月. −30− -8-.

(9)