自然光源環境下でのカメラ姿勢および光源環境の同時推定

「画像の認識・理解シンポジウム (MIRU2011)」 2011 年 7 月

自然光源環境下でのカメラ姿勢および光源環境の同時推定

老田

昌広

†

坂上

文彦

†

佐藤

淳

†

†

名古屋工業大学大学院 情報工学専攻 〒 466–8555 愛知県名古屋市昭和区御器所町

E-mail:

†{

sakaue,junsato

}

@nitech.ac.jp

あらまし 本研究では，移動しながら撮影を行うカメラを用いて，シーンの光源環境とカメラ姿勢を同時に推定する 方法を提案する．カメラがシーン中を移動する場合，カメラとシーン中の光源との相対関係が変化するため，画像か ら推定される光源環境にはカメラの姿勢情報が含まれる．本研究ではこれを利用し，撮影された画像から光源環境を 推定した後，さらにそこからカメラの姿勢推定を行う．これにより，シーン中の特徴点等の幾何情報を利用すること なく，カメラの姿勢を推定することが可能となる．また，実環境下において提案法を適用することにより提案法の有 効性を確認した． キーワード 光源環境推定，カメラ校正，参照球

1.

は じ め に

近年，仮想現実感 (Virtual Reality : VR) に関する研究 が盛んに行われている．仮想現実感とは，コンピュータに よって構成された仮想的な空間をユーザに提示し，ユーザ に仮想的な空間を現実的に体感させる技術である．さらに， 仮想現実感を拡張した複合現実感 (Mixed Reality : MR) の研究が行われている．複合現実感とは，仮想空間と現 実空間を融合する技術である．複合現実感の研究の 1 つ に，実空間と仮想空間の画像を重ね合わせた画像を提 示する技術 [1] [2] があり，ナビゲーションシステム [3] や ITS [4]などへの応用が研究されている． 実空間と仮想空間の重ね合わせにおいて，違和感のな い画像を生成するためには，現実環境と仮想環境との間 におけるいくつかの整合性問題を解決する必要がある． その中で，光学的整合性と幾何学的整合性の解決が重要 な課題となっている．光学的整合性は，現実環境での照 光状態が仮想物体の陰影の表現に反映されることで保た れる．現実環境の光源条件を計測する方法として，魚眼 レンズを装着したカメラや全方位カメラ，鏡面球を用い る手法がある [5] [6] [8]．次に，幾何学的整合性は，現実 空間と仮想空間のそれぞれの座標系の幾何学的な関係を 正確に表現することにより保たれる．現実空間のカメラ を視点としたとき，カメラの位置· 姿勢を推定すること により座標系の関係を表現できる．カメラの位置· 姿勢 を推定する問題はカメラ校正と呼ばれ，これまでに多く の研究が行われてきた [11] [12]．カメラの位置· 姿勢の推 定には，一般に多くの自然特徴点や人工マーカが必要と なる．しかし，多くの特徴点を常に正しくトラッキング することは容易ではないことが知られている．また，従 来は光源情報の推定とカメラの位置· 姿勢の推定は独立 して行われており，それぞれが独立に推定した結果を用 いて複合現実感が実現されていた．しかし，本来は光源 推定とカメラの位置· 姿勢推定は密接に関係し合ってい る．例えば，カメラと物体が一体となって運動する場合 には，物体上の面の輝度は光源分布の影響を受けると同 時にカメラ運動の影響も受ける．また，老田らは光学的 情報と幾何学的情報を併用し，光源情報とカメラの位置 · 姿勢を同時推定する方法を提案している [13]．しかし， この手法ではシーンが単一光源下に限られるという大き な制約が必要であった．そこで本研究では，複数の光源 が存在するシーンにて撮影された画像から光源分布とカ メラの位置· 姿勢を同時推定することを目的とし，その 推定方法について論じる

2.

対応点に基づくカメラの位置

· 姿勢推定法

まず，従来より用いられてきた，特徴点等の幾何情報 に基づくカメラ姿勢の推定方法について述べる．本稿で は，内部パラメータが既知である透視カメラに対して形 状が既知の物体が投影された場合における外部パラメー タ推定方法について説明する．この場合，推定するパ ラメータは回転 θX, θY, θZ,および並進 TX, TY, TZ で ある． まず，パラメータ推定のための評価値 ϵ を 2 乗誤差を 用いて以下のように定義する． ϵ =∑ i ( λimei− P eXi )⊤( λimei− P eXi ) (1) この評価式では，3 次元点 Xiをカメラ行列 P を用いて 画像上に投影した点と，それに対応する 2 次元点 miと の 2 乗誤差を評価に用いている．内部パラメタが既知の 場合，カメラの並進および回転パラメタより成る外部パ ラメタ行列を求めることによりカメラ行列 P を計算可能 である．したがって，上記の評価値を最小とするような 外部パラメタ行列を推定することにより，カメラの姿勢 推定が可能となる．このような評価式の最小化には，非 線形最適化法の一つである，LM 法や Gauss-Newton 法 などが用いられる．

3.

光源環境の推定

本節ではカメラで撮影された画像から光源環境を推定 する方法について述べる．本稿では撮影された物体の形

状が既知であり，また，対象物体の表面が拡散反射面で 構成されているものとして議論を進める．さらに，光源 は無限遠を仮定できるほど物体から離れて配置されてい るものとする．また，光源環境として，光源が単一の場 合，光源が少数（2∼5 程度）の場合，一般的な光源環境 の場合に分けて説明を行う．

3. 1

単一光源下の場合 まず，単一光源下のシーンを撮影した画像から光源情 報を推定する方法を説明する．3 次元物体から p 本の法 線と対応する輝度が得られたとし，各面の輝度値を並 べた行列 I と法線を並べた行列 W を以下のように定義 する． I = [ I1 · · · Ip ]⊤ (2) W = [ ρ1N1 · · · ρpNp ]⊤ (3) ここで撮影されたシーン中の光源が平行光源であること から，光源 S について，以下の式が成り立つ． I = νWS (4) ここで，式 (4) より，W の一般化逆行列 W+_を用いる ことで S, ν は以下のように求まる． νS = W+I (5) νSは 3 次元ベクトルであり，要素数は 3 であるため，式 (5)より νS を求めるには，法線方向が異なる最低 3 本の 法線と対応する輝度値が必要となる．ν は νS のノルム より計算でき，S は正規化した νS より計算できる．

3. 2

少数光源下の場合 次に，シーン中に最小 2 つ以上最大 5 つ程度の光源が 存在する少数光源下のシーンを撮影した画像から光源情 報を推定する方法を説明する．図 1 に示すような 2 つの 光源 S1, S2と 3 次元形状及び拡散反射係数を既知とする 参照球が存在するシーンを考える．また，光源 S1の光 源強度を ν1，光源 S2の光源強度を ν2とする．この時， 図 2 に示すように球面上は 3 つの領域 A, B, C に分ける ことができる．領域 A は光源 S1のみに照らされる領域， 領域 B は光源 S2のみに照らされる領域，領域 C は光源 S1, S2の両方に照らされる領域である．この時，領域 C 内のある点を p，輝度を Ip，法線を Np，拡散反射係数 を ρpとすると次式が成り立つ． Ip= ν1ρpN⊤pS1+ ν2ρpN⊤pS2 (6) また，ν3S3= ν1S1+ ν2S2と置けば，式 (6) は次式のよ うに表すことができ，領域 C は 1 つの仮想的な光源 S3 に照らされているとみなすことができる． Ip= ν3ρpN⊤pS3 (7) ここで，領域 A, B, C のそれぞれに 3. 1 節にて説明した 1 S S2 図1 2光源に照らされる場合 領域A 領域C 領域B 図2 図1の光源別領域 1 S S2 p m m 図3 参照球面上の小領域 手法を用いれば S1, S2, S3, ν1, ν2, ν3を推定することがで きる．しかし，このような方法で推定する為には図 2 に 示す領域の判別を行う複雑な計算が必要になる [9]． そこで，事前の領域判別をすることなく光源情報を推 定する方法を説明する．ここでは，参照球面上の 1 ピク セルごとに対応する光源方向 S, 光源強度 ν を推定する． 図 3 に示すように参照球面上のある点を p とする．そし て，点 p における光源方向を Sp，光源強度を νpとする． この時，Sp, νpを点 p の周囲 m× m ピクセル内から無作 為に選択した k 点 (k >_{= 3) の輝度情報から推定する．こ} こで，点 p の周囲 m× m ピクセル内は単一光源に照らさ れていると仮定する．そして，式 (4) より Sp, νpを推定 する．次に，推定した Sp, νpを用い，点 p の周囲 m× m ピクセルの全てのピクセルに対して以下の式を評価する． ∥Ii− νpρiN⊤i Sp∥ <= V (i = 1, 2, · · · , m2) (8) ここで V は適当な閾値である．無作為に選択した点によ る Sp, νpの推定と式 (8) の評価を規定数繰り返し，最も 評価式 (8) を満たす点が多くなる Sp, νpを最適値とする． この処理を球面上の全てのピクセルに対して行うことで， 各法線に対応した光源情報を推定することができる．

3. 3

一般光源下の場合 最後に，多数の光源が存在する一般的なシーンにて 撮影された画像から光源情報を推定する方法を説明す る [7]．m 個の光源が存在するシーンにて撮影した画像 の i 番目ピクセルの輝度を Ii，法線を Niとすると Iiは 以下のように表せる． Ii= m ∑ j=1 max(νjρiN⊤i Sj, 0) (9) ρiは i 番目ピクセルの拡散反射係数，νjは j 番目の光 源の光源強度である．式 (9) から光源情報を推定する場

図4 geodesic dome 合，実環境の光源数が既知である必要があり推定が困難 である． そこで，geodesic dome を利用することにより光源情 報を近似推定する [7]．この手法では，実空間の光源環境 を空間的に均等なサンプリング方向の光源強度の総和と して近似する．光源方向のサンプリングには，図 4 に示 す geodesic dome の頂点方向を用いる．geodesic dome は，その頂点が球面上で等密度で分布する性質を持つ． 実空間の光源環境を n 個の光源方向を用いて表現した時， 輝度 Iiは次のように表される． Ii∼ n ∑ j=1 νjρiη(i, j)N⊤i Sj (10) ここで，η(i, j) は i 番目ピクセルが j 番目光源に照らされ ている場合に 1，照らされていない場合に 0 をとる関数で ある．また，(∼) は実空間の光源環境を n 個の geodesic dome上の光源により近似的に表現したことによる誤差 が生じることを表す．サンプリングされた光源方向は既 知であり，本研究ではシーン中の 3 次形状を既知として いるので，これらの幾何学的関係から η(i, j) を決定する ことができる．画像中の p 個のピクセルより，次に示す 連立 1 次方程式を導くことができる．    I1 .. . Ip    =    ρ1η(1, 1)N⊤1S1 · · · ρ1η(1, n)N⊤1Sn .. . . .. ... ρpη(p, 1)N⊤pS1 · · · ρpη(p, n)N⊤pSn       ν1 .. . νn    (11) 従って，未知数である n 個の ν は，p >_{= n のピクセルを} 選択することにより式 (11) を解くことで推定することが できる．

4.

光源環境とカメラ姿勢の同時推定

これまでで，シーンの光源環境とカメラの姿勢をそれ ぞれ独立に推定する方法について述べてきた．ここでは， この 2 つの方法を併用することにより，これらの情報を 同時に画像より推定する方法を提案する．本節において も，シーン中に存在する光源の数ごとに分けて提案法の 説明を行う．

4. 1

少数光源下の場合 本節では，少数光源下にて参照球を異なる視点から撮 影した画像を用いて，光源分布とカメラの姿勢情報を同 時推定する方法を説明する．位置が固定された平行光源 が 2 個以上存在するシーンにて，図 5 に示すようにカメ ラが回転 R，並進 T の運動をして参照球を撮影し，カ メラ運動前の画像 1 とカメラ運動後の画像 2 が得られた とする．入力画像は正規化済みであり，参照球の中心座 標及び画像中での半径が等しくなっているとする．この 時，画像 1 の i 番目ピクセルにおける輝度を Ii，法線を Ni，拡散反射係数を ρiとして，画像 2 の i 番目ピクセ ルにおける輝度を Ii′，法線を N′i(= Ni)，拡散反射係数 を ρ′i(= ρi)とする．また，画像 1 の i 番目ピクセルを照 らす光源の光源方向を Si，光源強度を νiとして，画像 2 の i 番目ピクセルを照らす光源の光源方向を S′i，光源強 度を νi′とする．この時，それぞれの輝度 Ii, Ii′は次の式 で表される． Ii= νiρiN⊤i Si (12) I_i′= ν_i′ρ′_iN′⊤_i S′_i (13) ここで，画像 1 及び画像 2 の i 番目ピクセルが空間中に て同一の光源により照らされていると仮定すると以下の 式が成り立つ． I_i′= ν_i′ρ′_iN′⊤_i S_i′ = νiρ′iN′⊤i R−1Si (14) ここで，R はカメラの回転である．また，Ni = N′i， ρi = ρ′iであることから，式 (14) より以下の式が成り 立つ． R−1Si= S′i (15) このように，画像 1 及び画像 2 の i 番目ピクセルを照ら す光源が空間中で同一の光源である場合，式 (15) からカ メラの姿勢情報が推定可能である． 次に，推定を行う手順を説明する．画像 1 の球面上の 輝度値を並べた行列 I と画像 2 の球面上の輝度値を並べ た行列 I′を以下のように定義する． I = [ I1 · · · In ]⊤ (16) I′= [ I₁′ · · · I_n′ ]_⊤ (17) ここで，n は球面上のピクセルの総数である．また，Ii の画像座標と Ii′の画像座標は同じである．次に，行列 I 及び行列 I′をもとに 3. 2 節にて説明した式 (8) を用いて 光源推定を行う．各ピクセルを照らす推定した光源の光 源方向を並べた行列を次のように定義する． L = [ S1 · · · Sn ]_⊤ (18)

回転

R

並進

_T

参照球

カメラ

図5 撮影シーン L′= [ S′₁ · · · S′_n ]⊤ (19) ここで，行列 L は画像 1 の光源方向であり，行列 L′は 画像 2 の光源方向である．また，Siは輝度値 Iiに対応す る光源方向であり，S′iは輝度値 Ii′に対応する光源方向 である．次に，推定した L, L′を用いて，式 (15) より回 転行列 R の推定を行う．しかし，全ての Siと S′iが空間 中で同一の光源であるとは限らない．そこで，RANSAC を用いることで空間中で同一である光源のみを選択す る．まず，画像 1 及び画像 2 の参照球面上から画像座標 が一致する p 組の点を無作為に選択する．ここで，回転 行列 R の自由度が 3 であることから p >_{= 2 である．選} 択した p 組のピクセルに対応する光源方向を並べた行列 を l = [S1,· · · , Sp]⊤, l′= [ S′₁,· · · , S′_p]⊤と定義する．次 に，選択したピクセルに対応する各組の光源は空間中で 同一の光源であると仮定し，次式から回転行列 R を推定 する． R−1= l+l′ (20) l+は l の一般化逆行列である．次に，推定した R を用 い，参照球面上の全てのピクセルに対して以下の式を評 価する． ∥I′ i− νiρ′iN′⊤i R−1Si∥ <_{= W} (21) ここで，W は適当な閾値である．無作為に選択した p 組の点による R の推定と式 (21) の評価を規定数繰り返 し，最も評価式 (21) を満たす点が多くなる R を最適値 とする．

4. 2

一般光源下の場合 本節では，一般光源下にて参照球を異なる視点から撮 影した画像を用いて，光源分布とカメラの姿勢情報を推 定する方法を説明する．位置が固定された平行光源が多 数存在するシーンにて，図 5 に示すようにカメラが回転 R，並進 T の運動をして参照球を撮影し，画像 1 と画像 2が得られたとする．入力画像は正規化済みであり，参 照球の中心座標及び画像中での半径が等しくなっている とする．ここで，画像 1 の i 番目ピクセルにおける輝度 を Ii，法線を Ni，拡散反射係数を ρi，画像 2 の i 番目ピ クセルにおける輝度を Ii′，法線を N′i(= Ni)，拡散反射 係数を ρ′i(= ρi)とする．また，画像 1 と画像 2 はそれぞ れ 3. 3 節にて説明した方法で光源分布が推定済みであり， 画像 1 から推定された光源強度を V = [ν1,· · · , νn]⊤，画 像 2 から推定された光源強度を V′ = [ν₁′,· · · , ν_n′]⊤，画 像 1,2 ともに光源方向を L = [S1,· · · , Sn]⊤とする．ここ で，n は光源方向のサンプリング数である．この時，そ れぞれの輝度 Ii, Ii′は次の式で表される． Ii∼ n ∑ j=1 νjρiη(i, j)N⊤i Sj (22) I_i′∼ n ∑ j=1 ν_j′ρ′_iη(i, j)N′⊤_i Sj (23) ここで，(∼) は光源を geodesic dome 上の点として表現 したことによる近似誤差が含まれることを表す．また， 式 (23) はカメラの回転 R を用いて次式のように表すこ とができる． Ii′∼ n ∑ j=1 νjρiη(i, j)N⊤i R−1Sj (24) 本節では，式 (24) の制約を利用して光源分布とカメラの 姿勢情報を同時推定する． 次に，推定を行う手順を説明する．最初に式 (11) を 用いて画像 1 の光源強度 V = [ν1,· · · , νn]⊤を推定する． 次に，カメラの回転 R を推定するために以下のコスト関 数 e を定義する． e =∑ i ∥I′ i− n ∑ j=1 νjρiη(i, j)N⊤i R−1Sj∥2 (25) コスト関数 e を最小化する R を非線形最小二乗法によ り推定する．本研究では，Newton-Raphson 法を利用し 最小化を行う．次に，推定した R を用いて次式を定義 する．            I1 .. . Ip I₁′ .. . I_p′            =            ρ1η(1, 1)N⊤1S1 · · · ρ1η(1, n)N⊤1Sn .. . . .. ... ρpη(p, 1)N⊤pS1 · · · ρpη(p, n)N⊤pSn ρ1η(1, 1)N⊤1R−1S1 · · · ρ1η(1, n)N⊤1R−1Sn .. . . .. ... ρpη(p, 1)N⊤pR−1S1 · · · ρpη(p, n)N⊤pR−1Sn               ν1 .. . νn    (26) 光源強度 V = [ν1,· · · , νn]⊤を未知として，式 (26) を解

カメラ 参照球 正12面体 光源 _光源 図6 少数光源シーンの実験環境 入力画像1 入力画像2 図7 少数光源下で撮影された画像 くことで V を更新する．式 (25) からの R の推定と式 (26)からの V の推定を繰り返し行うことで，最適な回 転行列 R と光源強度 V を推定することができる． なお，本稿の議論では，光源が無限遠に存在すると仮 定しているため，光源情報のみからではカメラの並進パ ラメタを推定することはできない．しかし，提案法を使 用する際には，参照球の中心座標および画像中での半径 を計算しているため，この情報から並進パラメタを推定 することが可能である．

5.

実 験 結 果

以降では，提案法を用いてカメラ姿勢と光源環境の同 時推定を行った結果を示す．この実験においては，光源 数が限られた暗室内で実験を行った結果と，一般的な光 源環境下で実験を行った結果のそれぞれについて示す．

5. 1

少数光源下の場合 まずはじめに，少数光源下のシーンで撮影した画像を 用いて光源分布とカメラの姿勢の同時推定を行った結果 を示す．この実験の実験環境を図 6 に示す．拡散反射係 数が均一な参照球には，石膏製の球体を用いた．また， 画像中の正 12 面体は真値を計算する為の校正器具であ る．光源は 2 個配置し，平行光源を仮定する為に参照球 との距離を十分に大きくとった．そして，環境光の影響 を排除するために，撮影は暗室にて行った．参照球と光 源の位置は固定し，カメラを動かして図 7 に示す画像 1 及び画像 2 を入力画像として得た．提案法を適用するた めには，参照球の位置合わせが必要となるため，あらか じめ Hough 変換を利用して入力画像中の球の中心位置， 半径を推定した．Geodesic dome 上の光源サンプリング 数は 102 とした． 再構成画像1 再構成画像2 図8 光源推定結果を利用した画像再構成結果 表1 少数光源シーン:光源推定結果 画像1 画像2 平均誤差 2.155 2.212 表2 少数光源シーン:姿勢推定結果[単位:degree] 真値 推定値 θx 1.334 2.263 θy 4.091 4.385 θz 3.037 0.066 平均誤差 - 1.398 まず，光源情報の推定結果について示す．画像から観 測される球面上の輝度を真値，推定した光源情報とカメ ラの姿勢情報を用いて再構成した画像の球面上の輝度を 推定値とし，真値と推定値の 1 ピクセル当たりの平均誤 差により評価を行った．再構成画像を図 8 に示し，輝度 の平均誤差を表 1 に示す．但し，輝度は 0 から 255 の値 を取る．表 1 より，輝度誤差が十分に小さいことから精 度よく推定できているといえる．また，図 7 と図 8 を 比較することで画像を正しく再構成できていることがわ かる． 次に，カメラの姿勢情報の推定結果について示す．並 進パラメタの推定精度は参照球位置の推定精度に依存し て決定されるため，ここでは光源情報から推定される回 転パラメタの推定精度のみについて示す．画像中の正 12 面体の頂点情報を用い 2. 節にて説明した手法により推定 した回転パラメータを真値とし，提案法により推定した 回転パラメータを推定値として評価を行った．表 2 に回 転パラメータの真値と推定値を示し，図 9, に推定した回 転パラメータを用いて仮想物体を重畳表示した結果を示 す．表 2 より，実環境下にて提案法により姿勢情報が推 定可能であることがわかる．また，図 9 より，仮想物体 の姿勢変換が正しく行われていることを確認できる． 以上の結果から，提案法による光源推定及びカメラの 姿勢推定が実画像に対して適用可能であり，カメラの姿 勢パラメタとシーンの光源情報を同時に推定可能である ことが確認できた．

5. 2

一般光源下の場合 次に，一般光源下のシーンで撮影した画像を用いて光 源分布とカメラの姿勢の同時推定を行った結果を示す． この実験の実験環境を図 10 に示す．拡散反射係数が均 一な参照球には，石膏製の球体を用いた．また，画像中 の正 12 面体は真値を計算する為の校正器具である．撮

重畳画像1 重畳画像2 図9 姿勢推定結果を利用した仮想画像重畳 カメラ 正12面体 参照球 図10 一般光源シーンの実験環境 入力画像1 入力画像2 図11 一般光源下で撮影された画像 表3 一般光源シーン:光源推定結果 画像1 画像2 平均誤差 2.793 2.631 影は蛍光灯がいくつか存在する屋内にて行った．参照球 と光源の位置は固定し，カメラを動かすことで図 11 に 示す通り，カメラ移動前 (画像 1) と移動後 (画像 2) の画 像を得た．先の実験と同様に，あらかじめ Hough 変換 を利用して入力画像中の球の中心位置，半径を推定した． 図 11 の 2 枚の画像を用いて光源分布とカメラの姿勢を 推定した．また，光源サンプリング数は 102 とした． まず，光源情報の推定結果について示す．画像から観 測される球面上の輝度を真値，推定した光源情報とカメ ラの姿勢情報を用いて再構成した画像の球面上の輝度を 推定値とし，真値と推定値の 1 ピクセル当たりの平均輝 度誤差により評価を行った．再構成画像を図 12 に示し， 輝度の平均誤差を表 3 に示す．表 3 に示す通り輝度誤差 は十分に小さく，精度よく光源推定が出来ているといえ る．また，図 11 と図 12 を比較することで画像が正しく 再構成できていることがわかる． 次に，カメラの姿勢情報の推定結果について示す．こ の実験についても，左記の実験と同様にカメラの回転パ ラメタの推定精度を評価した．画像中の正 12 面体の頂 再構成画像1 再構成画像2 図12 光源推定結果を利用した再構成画像 表4 一般光源シーン:姿勢推定結果[単位:degree] 真値 推定値 θx 1.927 2.128 θy 6.280 6.202 θz 4.784 2.698 平均誤差 - 0.788 重畳結果1 重畳結果2 図13 姿勢推定結果を利用した仮想画像重畳結果 点情報を用い 2. 節にて説明した手法により推定した回転 パラメータを真値，提案法により推定した回転パラメー タを推定値として評価を行った．表 4 に回転パラメータ の真値と推定値を示し，図 13 に推定した回転パラメー タを用いて仮想物体を重畳表示した結果を示す．表 4 よ り，姿勢情報の各パラメータが精度よく推定できている ことがわかる．また，図 13 より，仮想物体の姿勢変換が 正しく行われていることが確認できる． 以上の結果から，提案法の光源推定及びカメラの姿勢 推定が一般的な光源環境下でも適用可能であることが確 認できた．また，5. 1 節の結果と比較すると複雑な光源 環境でも十分な精度が得られていることが確認できる．

5. 3

光源サンプリング数と推定精度 次に，シミュレーションデータを用いて提案法の安定 性を評価した結果を示す．最初に，光源サンプリング 数を変化させた場合の光源分布推定とカメラの姿勢推 定の安定性を評価した．この実験では，100 個の光源の 光源方向と光源強度を無作為に決定し作成した図 14 に 示す画像を用いた．輝度値には標準偏差 1 のガウシア ンノイズを印加した．これらの画像をもとに提案法に より，光源サンプリング数を 18, 38, 66, 102, 146, 198, 258, 326と変化させながら光源推定及びカメラの姿勢 推定を行った．姿勢推定の評価には，回転角度の真値 (θx, θy, θz) = (8,−6, 4)[degree] と推定した角度の各成分 の誤差の和の平均を用いた．光源推定の評価には，入力 画像と推定した光源強度と回転角度を用いて再構成した 画像との 1 ピクセル当たりの輝度誤差を用いた．姿勢推 定，光源推定ともに，100 個の標本データを用いて誤差

入力画像1 入力画像2 図14 入 力 画 像 -0.5 0 0.5 1 1.5 2 2.5 3 3.5 4 0 50 100 150 200 250 300 350 光源サンプリング数 角 度 平 均 誤 差 [degree] 図15 光源サンプリング数と角度推定の関係 0 0.5 1 1.5 2 2.5 3 0 50 100 150 200 250 300 350 光源サンプリング数 輝 度 平 均 誤 差 図16 光源サンプリング数と光源分布推定の関係 の平均と標準偏差を求めた．評価結果は，横軸を光源サ ンプリング数，縦軸を平均誤差，エラーバーを標準偏差 としたグラフで示す．図 15 に姿勢推定の評価結果を示 す．図 15 より光源サンプリング数を増加させることで 回転角度の推定精度が大幅に向上し，光源サンプリング 数が 50 程度あれば十分な精度を得られることがわかる． しかし，光源サンプリング数が 258 以上になると逆に標 準偏差が大きくなっていくことがわかる．これは，光源 サンプリング数を増加させることで光源分布の解空間が 必要以上に大きくなり，推定精度が不安定になったと考 えられる．このことから，安定な推定を行うためには適 当な光源サンプリング数を設定する必要があるといえる． 次に，図 16 に光源推定の評価結果を示す．姿勢推定 と同様に，光源サンプリング数を増加させることで光源 推定の推定精度が向上していくが，258 以上になると不 安定になることがわかる．図 15 及び図 16 より光源サン プリング数は 100 から 200 程度が適当であるといえる． すなわち，光源サンプリング数は実際の光源数とおおよ そ等しくすることが望ましいと考えられる． 入力画像1 入力画像2 図17 実光源数50の入力画像 入力画像1 入力画像2 図18 実光源数400の場合の入力画像

5. 4

実空間の光源数と推定精度 最後に，実空間の光源数を変化させた場合における光 源分布推定とカメラの姿勢推定の安定性を評価した結 果を示す．この実験では，光源数を 50, 100, 150, 200, 250, 300, 350, 400と変化させ，各光源の光源方向と光 源強度を無作為に決定して作成した図 17，18 に入力と した画像の一部を示す．また，輝度値に標準偏差 1 の ガウシアンノイズを印加し，光源サンプリング数は 102 で評価を行った．姿勢推定の評価には，回転角度の真値 (θx, θy, θz) = (5, 5, 5)[degree]と推定した角度の各成分の 誤差の和の平均を用いた．光源推定の評価には，入力画 像と推定した光源強度と回転角度を用いて再構成した画 像との 1 ピクセル当たりの輝度誤差を用いた．姿勢推定， 光源推定ともに，100 個の標本データを用いて誤差の平 均と標準偏差を求めた．評価結果は，横軸を実空間の光 源数，縦軸を平均誤差，エラーバーを標準偏差としたグ ラフで示す．まず，図 19 に姿勢推定の評価結果を示す． 図 19 より，光源数が増え光源環境が複雑になるにつれ てで誤差が大きくなることがわかる．しかし，光源数が 150以上では一定の精度で推定が出来ているがわかる． このことから，提案法は複雑な光源環境下であっても大 概安定して姿勢推定ができるといえる．次に，図 20 に 光源推定の評価結果を示す．図 20 より，光源環境の複雑 さとは関係なく安定して推定できていることがわかる． 以上のシミュレーション実験の結果より，提案法は複 雑な光源環境下でも姿勢推定, 光源推定とも安定に行え ることがわかる．しかし，姿勢推定では回転角度が大き い場合に精度が多少不安定になることがわかる．

6.

ま と め

本研究では，複数の光源が存在するシーンにおいて撮 影された画像から光源分布とカメラの姿勢を同時推定す る方法を提案した．まず，画像から光源推定を行う従来 法について説明した．次に，従来法を応用して光源分布 とカメラの姿勢を同時推定する方法を説明した．シーン が少数光源下の場合と一般光源下の場合に分けて，光源

-0.2 0 0.2 0.4 0.6 0.8 1 0 50 100 150 200 250 300 350 400 光源数 角 度 平 均 誤 差 [degree] 図19 実光源数と角度推定の関係 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 0 50 100 150 200 250 300 350 400 光源数 輝 度 平 均 誤 差 図20 実光源数と光源分布推定の関係 分布とカメラ姿勢の同時推定法を提案した．また，提案 した方法を用いて実画像実験を行い，少数光源下の場合 と一般光源下の場合の光源情報とカメラの姿勢情報の推 定結果を示した．さらに，シミュレーションデータを用 いて，一般光源下での推定法の安定性評価を行った結果 を示した．実画像実験とシミュレーション実験の結果か ら，本稿で提案した光源分布とカメラ姿勢の同時推定が 可能であることを示した．この方法は，参照球の位置推 定精度に大きく依存する方法であるため，今後は参照球 の位置推定結果が姿勢・光源の推定結果に与える影響に ついて検討するとともに，安定な参照球の検出方法を検 討する必要がある． 文 献 [1] 田村 秀行，大田 友一．複合現実感．映像情報メディア 学会誌，Vol. 52，No. 3，pp. 266-272，1998． [2] 大田 友一，田村 秀行．複合現実感の要素技術としての コンピュータビジョン．画像の認識·理解シンポジウム， 第1巻，pp. 1-6，1998． [3] 天目 隆平，神原 誠之，横矢 直和．拡張現実感を用いた ウェアラブル観光案内システム：平城宮ナビ(複合現実 感とインタラクション)．電子情報通信学会技術研究報 告，PRMU，パターン認識·メディア理解，Vol. 103， No. 584，pp. 1-6，2004． [4] 市川 一樹，佐藤 淳．未校正カメラの車両間画像協調に 基づく死角の仮想映像生成．第6回ITSシンポジウム 2007，pp. 89-94，2007． [5] 佐藤 いまり，佐藤 洋一，池内 克史．照明条件を考慮し た実画像への仮想物体の重ね込み．電子情報通信学会 技術研究報告，PRMU，パターン認識·メディア理解， Vol. 97，No. 324，pp. 21-28，1997． [6] 佐藤 いまり，佐藤 洋一，池内 克史．全方位ステレオ による実光源環境の計測とそれに基づく仮想物体の実 画像への重ね込み．電子情報通信学会論文誌，D-II，情 報·システム，II-情報処理，Vol. J81-D-2，No. 5，pp. 861-871，1998．

[7] 佐藤 いまり，佐藤 洋一，池内 克史．物体の陰影に基づく 光源環境の推定．情報処理学会論文誌，コンピュータビ ジョンとイメージメディア，Vol. 41，No. SIG 10(CVIM 1)，pp. 31-40，2000． [8] 神原 誠之，横矢 直和．光源環境の実時間推定による光 学的整合性を考慮したビジョンベース拡張現実．電子情 報通信学会技術研究報告，PRMU，パターン認識·メ ディア理解，Vol. 102，No. 555，pp. 7-12，2003. [9] 高井 勇志，新沼 厚一郎，松山 隆司．参照球を用いた 3次元環境センシング．情報処理学会研究報告，CVIM， コンピュータビジョンとイメージメディア，Vol. 2003， No. 36，pp. 117-124，2003. [10] 田中法博，梶本めぐみ，富永昌治．鏡面球を用いた光源 の全方位分布の推定．日本色彩学会誌，Vol. 25，No. 2， pp.92-101，2001． [11] 佐藤 淳．コンピュータビジョン−視覚の幾何学−．コ ロナ社，1999．

[12] R. Hartley，and A. Zisserman．Multiple View Geome-try in Computer Vision．Cambridge University Press，

2008．

[13] 老田 昌広，坂上 文彦，佐藤 淳．光学的情報と幾何学的 情報に基づくカメラと光源の同時推定．画像の認識·理 解シンポジウム，MIRU2009，pp. 1777-1784, 2009．