「画像の認識・理解シンポジウム (MIRU2012)」 2012 年 8 月
RGB-D
カメラから得られる部分物体形状と影に基づく光源推定
池田 拓也
†小山田雄仁
†杉本
麻樹
†斎藤 英雄
††
慶應義塾大学大学院理工学研究科 〒 223―8522 神奈川県横浜市港北区日吉 3―14―1E-mail:
†{
ikeda,charmie,saito}
@hvrl.ics.keio.ac.jp,††
sugimoto@ics.keio.ac.jpあらまし 拡張現実感において，実空間との整合性を取る研究は多く行われている．その中で光学的整合性を実現す ることで違和感のない仮想物体を重畳可能である．実空間の光源環境を取得する従来手法では，物体から生じる影か ら光源分布を推定する手法がある．しかし，予め物体の形状を測定しなければならないという制限がある．本研究で は，RGB-D カメラを用いて観測した物体の影に基づいた光源推定を提案する．提案手法では，容易に任意の物体か ら光源推定を行えるため，複数の物体を用いる事で誤推定を軽減する事ができる．しかし物体背後の形状を取得でき ないため，そのような領域は物体が存在すると仮定し推定を行った．本実験より，室内に配置された光源を概ね正し い位置に推定することができた． キーワード 拡張現実感，光源推定，Lambert モデル，RGB-D カメラ
1.
は じ め に
現実空間に情報環境からの情報を重畳して表示する拡 張現実感（Augmented Reality，以下 AR）の研究は盛 んに行われている [1]．AR において違和感なく仮想物体 を重畳するには，現実空間との整合性を取ることが必要 である．現実空間との整合性の一つとして光学的整合性 が挙げられる．実空間の光源分布を推定もしくは観測 し，その情報を元に仮想物体に対して陰影処理や影を重 畳することで，光学的整合性のとれた現実と違和感のな い AR を実現することができる． 実空間の光源分布を取得する手法はいくつか提案され ており，2 つに大別することができる．一つ目の手法は 周囲の光源分布そのものを直接的に取得する手法である． 視野角の広い魚眼レンズ付きカメラを用いることで周囲 の光源分布を撮影する手法 [2], [3] や，実空間上に配置さ れた鏡面球に反射される映像を観測し，光源分布を取得 する手法 [4], [5] が挙げられる．しかし，これらの手法で は魚眼レンズや鏡面球といった特殊なデバイスが必要と いうデメリットがある．もう一つは間接的な手法で，物 体と光源の遮蔽関係から生じる影を利用して光源分布を 推定する手法 [6] が挙げられる．しかし，この手法を提 案した佐藤らは，予め観測する物体の形状が既知という 状態で推定を行っており，身近にある形状が不明な物体 や複雑な形状の物体は推定に用いるのが困難である． そこで，本研究の目的を佐藤らが提案した従来手法の 制限を軽減する事とする．物体の形状を手軽に取得する デバイスとして，RGB-D カメラが挙げられる．RGB-D カメラで取得したデプス画像からシーンの幾何情報を取 得でき，佐藤らの手法を適応可能である．本研究では室 内環境において，固定された RGB-D カメラを用いて物 体の形状及び影に基づく光源推定を提案する．提案手法 では，まず背景画像と物体を配置した画像との差分から 物体，影領域を取得する．物体と影の 3 次元点群から， 実空間において離散的にサンプリングした光源と影の点 の間に物体が遮蔽しているかどうか算出する．最後に影 の明度と，物体の遮蔽関係から光源輝度が未知数となる 連立方程式を導き，それを解くことで光源輝度分布を推 定する． しかし本手法では，固定したカメラを用いるため，観 測している物体の背後の 3 次元情報は取得できない．そ の結果，遮蔽関係を全て正しく求めることはできず，誤 推定が生じると考えられる．そこで，本手法では様々な 形状の物体を合わせて用いて推定を行う．我々の手法で は，どのような物体に対しても容易に形状を取得できる という利点があり，様々な形状の物体が落とす影を用い る事で，誤推定の軽減が期待できる． 本論文の構成は以下のとおりである．2. 章で光源推定 に関する関連研究について述べる．3. 章で影に基づく光 源推定及び仮想物体の影重畳に関する背景理論を述べる． 4.章で提案する手法を説明する．5. 章で実験結果及び評 価を示し，考察を述べる．6. 章でむすびを述べる．2.
関 連 研 究
本章では実空間の光源推定に関連した研究として，魚 眼レンズ付きカメラを用いた手法，鏡面球を用いた手法， 物体の影に基づいた手法について述べる．2. 1
魚眼レンズ付きカメラを用いた手法 佐藤らは魚眼レンズ付きカメラを用いて撮影した全方 位画像から実空間の光源分布を取得している [2]．魚眼 レンズを用いることで光源分布を広範囲にわたり直接的 に観測できるというメリットがある．また，全方位画像 をステレオで撮影することで，各画像の特徴点の対応を取っている．特徴点の対応によって得られる 3 次元点群 を利用して 3 次元メッシュを作成することで，直接光源 から 3 次元的に生じる間接光源の位置及び輝度を計算し， 直接光源と間接光源を含む光源分布を求めている． Knechtらも同様に魚眼レンズ付きカメラを用いて，光 源分布を取得しリアルタイム (20-30fps) に光学的整合性 を実現した AR システムを提案している [3]．得られた 撮影画像から光源分布を取得し，インスタントラジオシ ティ法を用いて仮想物体の陰影や影の重畳を行っている． また，各フレームにおいて差分描画を行うことで，高速 化に成功している．
2. 2
鏡面球を用いた手法Debevecらは High Dynamic Range(以下 HDR) カメ ラを用いて鏡面球を観測することで実空間の光源分布を 取得している [4]．鏡面球は周囲の環境を反射するため， 魚眼レンズ同様広範囲にわたり光源分布を取得すること ができる．また，HDR カメラにより得た鏡面球の画像 からイメージベースモデリングを行っており，カメラで は写しきれない周囲の環境も含めて，現実との整合性の とれた仮想物体を生成している． Derekらは鏡面球から観測される周囲の環境から球面 調和関数を用いて光源分布を表現している [5]．鏡面球 に写り込んだ画像から直接光源，大域光源を球面調和関 数で表現し，それらを組み合わせて用いている．仮想物 体の重畳では，得られた光源分布から仮想物体の陰影処 理を行い，仮想物体から生じるソフトシャドウとハード シャドウを組み合わせて影を重畳することで，違和感の ない拡張現実感を実現している．
2. 3
物体の影に基づいた手法 佐藤らは，物体から生じる影を用いて実空間の光源分 布を推定する手法を提案してる [6]．実空間上に観測され る影は，物体によって光源が遮蔽される事で生じると考 えられる．画像中に観測される影の明度と，物体や影の 幾何情報からどの方向の光源が遮蔽されているかを考慮 することで光源輝度が未知数となる連立方程式を導きだ し，それを解くことで光源分布を推定している．3.
背 景 理 論
本章では，背景となる理論について述べる．本研究で は，佐藤らが行った手法 [6] と同様の理論やモデルを用 いる．まず，提案手法で用いる物体の影に基づく光源推 定について述べる．特に，光源推定を行うために必要な 幾何学的情報を用いる項について説明する．次に，本研 究の実験で用いる推定された光源分布を用いた仮想物体 による影の重畳について述べる．3. 1
物体の影に基づく光源推定 室内の光源環境下では，蛍光灯などの直接光源のみで 図1 半球上に分布する光源モデル はなく壁や周辺の物体からの反射なども間接光源として 存在している．全方向からの光源を考慮するため，図 1 のような無限遠の半径を持つ半球上に光源が存在すると 考える．物体による遮蔽関係を考慮した場合，実空間に おける平面上の点 x への光源全体からの照度 E(x) は E(x) = ∫ 2π 0 ∫ π 2 0 V (x, θi, ϕi)L(θi, ϕi) cos θisin θidθdϕ, (1) となる．ここで，L(θi, ϕi)は (θi, ϕi)方向に存在する光 源の輝度値，cos θiの項は光源の入斜角度による強度， sin θidθidϕiは点 E(x) からの微小立体角を表している． また，可視性関数 V (x, θi, ϕi)は，点 x から見た (θi, ϕi) 方向の光源が物体によって遮蔽されている場合は V = 0， 遮蔽されていない場合は V = 1 とする． 光源全体から点 x へ入射した光は輝度を持つ光として 反射される．点 x から (θr, ϕr)方向に位置する画像上の点 uで観測される明度値 i(θr, ϕr)は，入射方向 (θi, ϕi)から の入射照度と反射方向 (θr, ϕr)への反射光輝度の比率を 表す双方向性反射率分布関数 (Bidirectional Reflectance Distribution Function: BRDF)を用いて i(θr, ϕr) = k ∫ 2π 0 ∫ π 2 0 V (θi, ϕi)R(θi, ϕi, θr, ϕr) L(θi, ϕi) cos θisin θidθdϕ, (2) と表せる．ここで，k は実空間中の反射光輝度と画像面点 における明度の比を表す定数であり，カメラに固有のパ ラメータである．本研究では，光源輝度分布を係数 k を 含むかたちで推定する．また，R(θi, ϕi, θr, ϕr)は BRDF を表す関数である．本研究では，影を落とす平面での光 の反射は拡散反射のみであり，Lambert モデルに従うも のと仮定する．そのため，BRDF は定数 Rdと置き換え る事ができる i(θr, ϕr) = k ∫ 2π 0 ∫ π 2 0 V (x, θi, ϕi)Rd L(θi, ϕi) cos θisin θidθdϕ． (3) 次に，光源推定のために，2 重積分の項を離散的な積 分で近似する．θi，ϕiの値を一定値ずつ増やすことで， 半球面上に光源のサンプリング点を設ける．サンプリン グ点の数を N 個とすると，i(u) = N ∑ n=1 Vn(x)RdLncos θn = N ∑ n=1 SnLn, (4) ここで，i(u) は画像上の点 u で観測される明度値，Vn(x) は n 番目の光源に対する点 x の可視性関数，Rdは対象 とする平面の反射特性，Lnは係数 k を含む n 番目の光 源の輝度値，θnは z 軸と n 番目の光源へ向かうベクト ルが成す角，Sn= Vn(x)Rdcos θnは光源輝度 Ln以外の 未知数を表す係数とする． 変数 Snが何らかの方法によって既知である時，未知の 光源数より多くの画素を観測すれば，すなわち N <= M を満たせば，以下の連立方程式を Lnに関して解くこと により，光源の推定を行えることになる. i = SL → i(u1) .. . i(uM) = S11 · · · S1N .. . Smn ... SM 1 · · · SM N L1 .. . LN (5) 式 (5) で表される連立方程式を解く事で光源輝度分布を 求める．本研究では，光源輝度は非負の値を持つとい う制約があるため，非負の最小二乗法 [7], [8] を用いて 式 (5) を解き，光源輝度を算出する．しかし，連立方程 式を解くためには，光源輝度 Ln以外の未知数，Vn(x)， cos θn，Rdを求める必要がある． 平面の反射特性 Rdについては，物体を配置していな い背景画像と物体を配置した画像から，Rdをキャンセ ルする．物体を配置していない場合は Vn(x)の項を考慮 する必要がないので，画像上の点 u で観測される明度値 i′(u)は以下のようになり i′(u) = N ∑ n=1 RdLncos θn， (6) 式 (4) と比を取ることで，Rdをキャンセルした以下の式 を得る i(u) i′(u) = N ∑ n=1 Ln ∑N j=1Ljcos θj Vn(x) cos θn． (7) Rd が 未 知 で あ る 場 合 ，式 (7) よ り Ln の 代 わ り に Ln ∑N j=1Ljcos θj という比を求める事で光源分布を推定す ることができる．このように物体を配置していない背景 の画像を用いることで，Rdをキャンセルすることがで き，光源推定が可能となる． 次に，Vn(x)，cos θnの項を算出する．従来手法では， 遮蔽物体や影の 3 次元情報が既知であるため，それらの 項を算出可能であったのに対し，本研究では未知の状態 から問題が始まるため，何らかの手法を用いて計算する 必要がある．4. 章で述べる提案手法では，RGB-D カメ ラから得られた情報からどのように Vn(x)，cos θnの項 を算出したか述べる．
3. 2
仮想物体による影の重畳 本節では，推定して得られた光源分布を用いた仮想物 体の影重畳について述べる．物体を配置していない背景 画像を入力画像とすると，実空間上に仮想物体を配置し た際，影が生じる平面において変化を加える必要がある． 仮想物体の影の明度は，入力画像の明度に対して仮想物 体により遮蔽される光源によって決まる． 入力画像では光源を遮蔽する物体が存在しないので， 実空間における平面上の点 x の照度 Ein(x)は推定され た光源輝度 L を用いて以下のように表される Ein(x) = N ∑ n=1 Lncos θn． (8) 次に，仮想物体が存在する場合の，光源分布からの照度 を求める．仮想物体を配置した場合，式 (1) と同様に仮 想物体によって光源が遮蔽されるかどうか考慮する．仮 想物体が存在する場合の実空間における平面上の点 x の 照度 Eout(x)は，以下のように表される Eout(x) = N ∑ n=1 Vn(x)Lncos θn． (9) ここで，Vn(x)は点 x から見た n 番目の光源に対する可 視性関数である． 実空間点 x が入力画像内での点 u で観測されるとき， その明度 iin(u)は，光源分布全体からの照度が Ein(x) の時に観測される．一方，仮想物体を重畳した合成画 像において点 u で観測される明度 iout(u)は，光源分布 全体からの照度が Eout(x)の時に観測される．従って， Ein(x)と Eout(x)の比を取ることで，仮想物体を重畳し たときの影の明度 iout(u)を求める事ができるiout(u) = iin(u)
Eout(x) Ein(x) ． (10)
4.
提 案 手 法
提案手法では，室内環境において固定された RGB-D カメラを用いて物体や影の 3 次元情報を取得し，光源推 定のために必要な Vn(x)，cos θnの項を算出する． Vn(x)，cos θnの項を算出するために必要なのは，画 像中に写りこんでいる物体と物体から生じる影の 3 次元 情報である．そのため，まず物体を置いていない状態で， 背景の RGB 画像及びデプス画像を取得する．次に，物 体を配置した RGB 画像及びデプス画像との差分を行い， 物体領域と影領域をそれぞれ取得する．その後，光源の サンプリング点，物体の 3 次元形状，影の 3 次元点から図2 物体，影領域取得の流れ Vn(x)，cos θnを算出することで L 以外の未知数を求め る．最後に連立方程式を解くことで，光源輝度値 L を求 める．
4. 1
物体，影領域取得 提案手法では，まず物体及び影の 3 次元情報を取得す る．そのために，カメラから得られる RGB 画像及びデ プス画像から物体，影領域を取得する．各領域の取得に は，4 枚の画像 (cobj, cbg, dobj, dbg)を用い，物体の有無 によって画像上に生じる変化を利用して各領域を検出す る．図 2 に物体，影領域取得の概要を示す．c, d はそれぞ れ RGB 画像，デプス画像を表し，下付き添え字 obj, bg はそれぞれ物体が写りこんだ画像と背景の画像である． なおデプス画像は，各画素に対するデプス値をグレース ケールで示した画像で，距離が近いほど明度は明るく， 遠いほど暗く表現している． 各画像の差分画像は下付き添え字 diff によって以下の ように定義する． cdiff= cobj if |cobj− cbg| > τc 0 otherwise (11) ddiff= dobj if |dobj− dbg| > τd 0 otherwise (12) ここで，τ は各領域検出のための閾値を表す． 物体領域はデプス画像のみを用いて検出する．物体の 有無によりデプス画像上に生じる違いは，物体の領域の みに限られる．よって，差分画像 ddiffの違いが顕著な領 域を物体領域として検出する aobj= ddiff． (13) 物体によって生じる影は RGB 画像に観測されるため， RGB画像から影領域の取得を行う．しかし，物体の有 無により RGB 画像上に生じる違いには，影領域に加え て物体領域も含まれてしまう．そこで，RGB 画像の差 分画像 cdiffとデプス画像の差分画像 ddiffとの排他的論 理和を取る事で影領域の検出を行う 図3 交差判定時の3つのパターン ashadow= cdiff ⊕ ddiff． (14)aobj，ashadowはそれぞれ物体，影の領域を表しており，
各領域の画像面点はデプス画像 dobjよりデプス値を持っ ている．次の節では，それらを用いた Vn(x)，cos θn項 の算出について述べる．
4. 2
V
n(x)
，cos θ
n項算出 ここでは取得した物体，影の 3 次元点を用いた Vn(x)， cos θn項の算出について述べる． Vn(x)項は物体及び, 影の 3 次元点を用いて算出する． まず影の点群から物体による影が生じる平面を推定す る．推定された平面上の点 x から n 番目のサンプリン グ光源へ向かうベクトルに対して物体が交差しているか 判定する．この時，図 3 に示すような 3 つのパターン が検出される．1 つ目は物体と交差する場合で，この時 Vn(x) = 0となる．2 つ目は物体と交差しない場合で，こ の時 Vn(x) = 1となる．3 つ目は物体の背後を通過する 場合である．本手法の場合，固定カメラなため物体背後 の形状を取得することはできない．そのため，3 つ目の 物体背後を通過する場合，正確な Vn(x)の値を算出でき ない．このような場合，影の点を方程式から省くことが 考えられるが，光源推定には物体周囲の情報を方程式に 含める必要があるため，3 つ目のような影の点も用いる． ここで，Vn(x) = 1だとすると，物体の背後は崖のよう に切り取った形状を意味する．しかし，このような想定 はあまり現実的ではないため，3 つ目の場合は Vn(x) = 1とする．Vn(x) = 1とすることで，物体により隠れて観 測できない領域は物体が存在すると仮定される． cos θn項については，3 次元点 x と n 番目のサンプリ ング光源との角度 θnから算出する.
5.
実
験
本章では, 提案手法を用いて行った光源推定実験につ いて述べる．本実験では, 形状が異なるいくつかの物体 を用いて光源推定を行った．さらに，推定精度を評価す るために，実物体と同様の形状をした仮想物体を配置し， 推定された光源分布を用いて仮想物体の影を重畳した．5. 1
データセット及び実験環境 実験には図 4 に示す，様々な形状をした 8 個の物体を 用いた．各物体から生じる影及びシーンの幾何情報から 提案手法を用いて光源推定を行った．また，各物体の結 果だけでなく，複数の物体を用いて光源推定を行った． 各物体の影の点から導いた式 (4) を式 (5) に含める事で， 複数の物体を用いる事になる，本実験では，図 4 の Box を除く 7 個の物体を用いて方程式を結合した．さらに比 較のために，佐藤らの従来手法 [6] を Box に適応し，光 源推定を行った．従来手法の場合，Box の形状を予め計 測しておき，光源推定に必要な Vn(x)，cos θn項を算出 する．事前に形状を取得する必要があるので，単純な形 状をした Box を採用した．提案手法との違いとしては， 従来手法では物体の全周の形状が分かっているのに対し て，本手法では固定された RGB-D カメラで観測できる 範囲の物体の形状を取得できる，という点である． 実験を行った室内の環境を図 5 の 2 段目右端に示す． この図は魚眼レンズ付きカメラで撮影した室内の環境 である．図中に示した青丸は室内に配置された蛍光灯の 位置を示しており，赤丸はカメラの位置を示している． なお，本実験では RGB-D カメラとして Microsoft 社の Kinectを用いた． 推定する光源サンプリング点については 0 <= θ <= 70 の間を 5 度刻みずつ，0 <= ϕ < 360 の間を 10 度刻みずつ サンプリングし，合計 505 個の光源の輝度値を求めた． θについては，平面に近い高さに光源が分布しているこ とは少ないため 70 度までとした．5. 2
光源推定結果 図 5 に実験の結果を示す．一番上の段から光源推定 に使用した物体，推定された光源分布，仮想物体の影 重畳画像，エラーマップを表示している．各物体の画 像及び光源環境を撮影した画像から，実験のシーンで は 2 つの明るい光源が存在している事が分かる．なお 図 5 では，考察のために 3 種類の各物体 (Box, Duck2, Hemisphere)を用いた結果及び，前述の 7 種類の物体 を用いた結果 (Combined)，従来手法を Box に適応し た結果 (佐藤ら) を表示している． 図 5 の 2 段目の光源推定結果は，撮影された室内の環 境と比較して見る事ができる．各結果はそれぞれ，共通 の位置と異なる位置に光源が推定されていることが分か る．共通の位置として RGB-D カメラ周辺に顕著に明る く推定されている．撮影された光源環境にはカメラ周辺 に光源は無く，誤推定だと言える．これは，観測する物 体によって見えない影の点がある事が原因だと考えられ る．本来そのような点とカメラ方向に存在する光源との Vn(x)項を算出すると，Vn(x) = 0となるはずである． しかし，物体によってそれらの点が観測出来ないため， カメラ周辺の光源情報を連立方程式に含めらず，誤推定 されてしまっている． また，物体の形状や物体によって生じる影も各々異な るため，各推定結果は異なっている．これは物体の形状 の複雑さや，提案手法の制限となっている物体の背後の 形状を取得できない事が起因していると考えられる．次 の節では，光源推定結果を定量的に比較することで，物 体の形状による推定精度について述べる．5. 3
仮想物体の影重畳による定量的評価 提案手法では，光源分布の Ground truth を推定され た光源分布と幾何学的に対応付けて取得するのは難しい ため，推定された光源分布を用いて仮想物体に影を重畳 することで，定量的に評価を行った．重畳結果を図 5 の 3段目に表示する．仮想物体は単純な形状をした Box と 同様の形状とし，実物体と同様の位置に配置した．評価 値として，影を重畳した画像において，Ground truth と の明度値の差分を計算した．図 5 中の表は上から平均誤 差，標準偏差，最大誤差の値を示している． 本手法では，物体全周の形状が分かっている従来手法 より精度が勝る事は難しいと考えられる．そこで，佐藤 らの結果画像を Ground truth とする．影重畳結果にお いて Real scene と比較すると，佐藤らは 2 つの大きな 影が重畳されており，精度良く光源推定ができている． 一方，提案手法では Real scene より影が薄く，また 2 つの影がはっきり重畳できていないように見られる． 各光源推定結果は，推定に使用した物体画像におい て，どの位はっきり影が現れているかに依存する．Box については 2 つ影がはっきり確認できる．その結果，提 案手法と従来手法は実際の光源とほぼ同様の位置に推 定されている．従来手法と提案手法の違いは不完全な形 状情報であるため，Box での推定誤差は物体形状が一 部しか観測できないことが起因している．また Duck2 は，同様に 2 つの影が現れているが，評価結果から Box より精度が低い事が分かる．これは，Duck2 は Box に 比べ，複雑な形状をしていることが起因していると考え られる．RGB-D カメラから得られるデプス値は各画像 面点で保持されているため，離散的に取得している事に なる．観測できる範囲であっても物体の形状を正確に取 得できることは難しいと思われる．そのため，推定時に図4 光源推定に用いた物体. 算出する Vn(x)項が誤った値となり推定精度へ影響し ている．Hemisphere については Box と同様に単純な 形状であるのに対して，推定結果は最も低い．前述の 2 つのケースと比べると，物体画像において中央から左下 方向にのみ影があり，また影の領域も小さい．このよう なケースでは，影における情報が不足してしまい，正し く光源推定できなかったと考えられる．Combined は Duck2と，ほとんど同じ精度となっており，Box より 低い．Duck2 と比較すると最大値差は小さく，平均誤 差がわずかに減っている．複数の物体を用いた場合，各 物体によって影の領域や形状が異なるため，連立方程式 に多くの情報を含める事ができる．一方で，Duck2 の ように取得した物体形状によるノイズ（ここでは，方程 式に含まれる誤った Vn(x)項を指す）を含んでしまう． 本実験から複数の物体を用いる事でそのようなノイズを 軽減することができたと言える．
5. 4
考 察 本実験において，提案手法の特徴を示した．従来手法 と比較すると本手法は一部の物体形状しか取得できない ため，精度は低くなり従来手法に勝ることは難しい．ま た，物体の形状に関しても，Box のような単純な形状の 方が，Duck2 のような複雑な形状をした物体より精度よ く推定できる．これらの要因として 2 つ考えられる．1 つ は物体形状の取得した範囲である．Box に比べ Duck2 の方が物体の形状を取得した範囲は小さく，Vn(x)項を 算出する際に図 3(c) のケースをより多く多く含んでし まうと考えられる．2 つ目は物体の形状の複雑さである． 前節で述べたように，本実験で用いたカメラでは複雑な 形状を正確に取得することは困難なため，図 3(a) や (b) のようなケースであっても誤った項を算出する場合があ る．このようなケースは取得した物体形状の輪郭部分で 生じると考えられる．また，Hemisphere と Box の比 較から，単純な形状であっても画像中に映り込んだ影の 領域が小さいと, 方程式に含める情報が不足してしまい， 十分な推定結果を得られない． 本手法の貢献は，Combined の結果が，結合に用い た各物体 (Duck2 や Hemisphere など) より精度が向 上している点である．複数用いる事で，Hemisphere の ように不足した情報を補うことができ，各物体が含むノ イズを軽減することができる．6.
結
論
本研究では，固定された RGB-D カメラを用いて得た シーンの幾何情報から光源分布を推定する手法を提案し た．提案手法では RGB-D カメラから得られた物体の部 分的な形状から Vn(x)項を算出し，光源推定を行った． 実験より，影の点から光源へ向かうベクトルが物体の背 後を通っている場合は，Vn(x)としたため，正確な値で はない．そのため物体個々の推定結果は誤推定を含んで いる．しかし，様々な形状の物体から生じる影を合わせ て用いることで，そのような誤推定を軽減することがで きた． 提案手法では，物体によるオクルージョンによりカメ ラ方向に光源が誤推定されてしまう. 従来の研究では， 影に基づく光源推定の際に, 球面調和関数を用いること で光源分布を近似している [9]．球面調和関数を用いるこ とで，各基底の線形和で光源分布を表現することができ， オクルージョンによる問題があっても安定して光源推定 が行える．今後の研究方針として，光源分布の表現方法 に球面調和関数を用いる事を視野に入れたい． 文 献[1] R. Azuma, “A survey of augmented reality,”
Pres-ence: Teleoperators and Virtual Environments, 6
(1997).
[2] 池内克史，佐藤洋一，西野恒，佐藤いまり，“複合現実感 における光学的整合性の実現,” VRSJ, 4, 4, pp.623-630
図5 実験結果及び定量的評価
(1999).
[3] M. knecht, et al., “Differential instant radiosity for mixed reality,” in Proc. ISMAR (2010).
[4] P. Debevec, “Rendering synthetic objects into real scenes: Bridging traditional and aimagebased graph-ics with global illumination and high dynamic range photography,” in Proc. ACM SIGGRAPH, pp.189-198 (1998).
[5] N. derek et al.，“Light Factorization for Mixed-Frequency Shadows in Augmented Reality,” in Proc.
ISMAR，(2011).
[6] 佐 藤 い ま り，佐 藤 洋 一 ，池 内 克 史 ，“物 体 の 陰 影 に 基 づ く 光 源 環 境 の 推 定,” 情 報 処 理 学 会 論 文 誌 ，41，
SIG10(CVIM1)，pp.31-40(2000).
[7] Gillm R.E, W. Murray M.H. Wright, “Practical Op-timization”, Academic Press, London, UK(1981). [8] Coleman, R.F, Y. Li, “A Reflective Newton Method
for Minimizing a Quadratic Function Subject to Bounds on Some of the Variables”, SIAM Journal on Optimization, 6, 4, pp.1040-1058(1996).
[9] 岡部孝弘，佐藤いまり，佐藤洋一，池内克史，“キャス トシャドウを用いた光源推定法：球面調和関数展開に 基づく解析,”情報処理学会論文誌．CVIM，133，34，
