ランダムなカメラ運動を利用する画像からの奥行き検出手法

(1)

平成23年度博士前期課程学位論文

ランダムなカメラ運動を利用する画像からの奥行き検出手法

首都大学東京大学院システムデザイン研究科

情報通信システム学域

10890503飯田裕也指導教員田川憲男教i授

(2)

第1章序論

1.1本研究の背景...

1.2本研究の目的...

1.3本論文の構成...

第2章基礎原理

2.1トレモアを模擬したカメラモデルとオプティカルフロー..

第3章提案手法:微分型

3.1剛体運動に関する勾配方程式...

3.2確率モデル...̲...

3.3計算アルゴリズム...̲...

第4章提案手法:積分型

4.1オプティカルフローと奥行きの関係...

4.2奥行きに依存する画像ボケ.

4.3ボケ検出アルゴリズム...

4.4奥行き復元アルゴリズム...̲...

第5章数値評価

5.1人工画像による数値評価...

5.1.1微分型..̲...

5.1.2積分型...

5.2数値評価に対する考察...

5.2.1微分型...

5.2.2積分型...

第6章結論

1113448891556713355888911111222234444

(3)

11

欝

参考文献

01μ05

(4)

図目次

1.1固視微動のモデル. 2

2.1カメラ投影モデル..

2.2図2.1を上から見た図.

7678

3.1勾配方程式....

3.2EMアルゴリズム

14 14

4.1w2のイメージ図.

4.2foのイメージ図.

4.3Fzのイメージ図.

19 19 .20

5.1原画像...̲...

5.2設定した奥行きマップ...

5.3周波数分解画像...

5.7f七の図...

5.8fxの画像...

5.9坪の画像...

5.10M=50での復元マップ...

5.13M=1000での復元マップ....

5.14滑らかさ拘束なしの復元マップ...

5.15σ 菱=0.01での復元マップ...

5.16Qd=0.001での復元マップ...

33444466677889902222222222222223

(5)

1V

5.17σ 多=0.0001での復元マップ...

5.18枚数変化における復元誤差推移のグラフ...

5.19σ 菱の変化における復元誤差推移のグラフ...

5.20EMアルゴリズム試行回数における復元誤差推移のグラフ..

5.21周波数分解画像図5.3における奥行き復元マップ...

5.23周波数分解画像図5.5における奥行き復元マップ..

5.24周波数分解画像図5.6における奥行き復元マップ..

5.25算術平均画像...

5.26設定した奥行きマップ...

5.27理論値の分散共分散行列(1.1)成分のマップ...

5.30理論値の重み成分wdのマップ...

5.31理論値の重み成分wbのマップ...̲...

5.32理論値の重み成分wcのマップ...。

5.33推定値の分散共分散行列(1.1)成分のマップ...

5.36推定値の重み成分waのマップ...̲...

5.37推定値の重み成分wbのマップ....。....

5.38推定値の重み成分w。のマップ....

5.39.M=50の奥行き復元マップ...。....

5.40M=100の奥行き復元マップ...

5.43σ 『=0.004の奥行き復元マップ...

5.44Qr=0.005の奥行き復元マップ...

5.45σ.=0.006の奥行き復元マップ...

5.46σ?=0.007の奥行き復元マップ...

5.47枚数変化における復元誤差推移のグラフ...

5.48σ 多の変化における復元誤差推移のグラフ...̲̲..

303131323333343436363737373838383939394040404141424243434444454546

(6)

5.51周波数分解画像図5.5における奥行き復元マップ.47 5.52周波数分解画像図5.6における奥行き復元マップ...47

(7)

1

第1章序論

1.1本研究の背景

近年,コンピュータビジョン技術の発展が目覚ましい.コンピュータビジョンとは,画像をコンピュータで扱うための理論と技術のことである.中でも,2次元画像から3次元的な空間の知覚を得る3次元形状復元の分野では,複数の手法が提案されている.例えば, 中でも,条件が整えば高精度な復元が可能であるステレオ立体視が実用化されてきている.ステレオ立体視は比較的大きな視差検出を伴うことから,復元精度が高い反面,注視する対象が他の物体によって隠されてしまうオクルージョンが生じやすく,その解決のために多くの研究がなされている[1].我々は、ステレオ立体視におけるオクルージョン対策として,単眼立体視による復元手法に着目した.人間の視覚系には,図1.1に示すような固視微動[2][3]と呼ばれる不規則な眼球運動が存在する.これは人間が指標を注視する際に生じるものである.人の網膜は,その上に写る指標の像を常に震わせていないと受像感度を失ってしまうため,固視微動は人間がモノを見るために必要となる機能であり, また,それ以外にもコントラストの向上やエッジ検出といった画像解析にも利用可能であ

ることが報告されている.この固視微動は心臓と同じく,自律神経によって調整される不随意な運動であり,それによる網膜上での像の動きは意識に上がらないにも関わらず,単眼での奥行き知覚の手がかりになっているとの報告がある.このことは,固視微動に基づいて無意識のうちに奥行き知覚がなされ,その結果が明るさ知覚や色知覚と合わさって高次機能の一つである両眼立体視の入力になる可能性を示唆する.

1.2本研究の目的

固視微動には,図1.1に示すようにトレモア,マイクロサッカード,ドリフトの三種類の動きがあり,本研究では,トレモアと呼ばれる固視微動の中で最も小さい動きを模擬するカメラ運動を用いた運動立体視を3次元形状復元に利用する.運動立体視に枠組みにおける研究は、従来からcomputervisionの中核をなし、膨大な数の成果が報告されてきた.

運動立体視では,対象表面のテクスチャが画像変位に比べて細かいか粗いかかが重要にな

(8)

合,輝度の時空間微分と画像上の動き[4]の問に成立する拘束を表す勾配方程式に基づく勾配法[5][6][7】を用いた微分型の奥行き復元手法が有効である.勾配法で重要なのは,画像上での動きに適切な大きさが存在することである.勾配方程式は動きが無限小の場合に成立する拘束であり,動きが大きすぎると勾配方程式自身の誤差が問題となる.逆に動きが小さすぎる場合には,輝度微分値に含まれる計算誤差と検出すべき動きの大きさの比で定義されるS/Nが低下し,奥行きの計算誤差が増大する.したがって,適切な動きの大きさあるいはそれを制御するためのフレームレートの選定等の工夫が必要である.そこで本研究では,フレームレートに依存しない方法として,画像の解像度分解と解像度方向への情報伝搬に基づくアルゴリズムが提案されているものの,計算量の増加は免れることができない[s).そこで大きな動きを避け,小さな動きを複数回観測して総合的に解を得ることで上記のS/Nの低下の問題を避ける手法を提案する.一方,テクスチャが細かい場合は勾配方程式が成立しなくなり,エイリアスが生じるとともに,観測誤差の近傍画素間での相関が無視し得なくなるため,微分型の方法では奥行き復元精度が大幅に低下する.

そこで,積分型の奥行き復元手法を提案する.上述のカメラ運動にともなって観測される複数の画像を足し合わせることで,1枚のボケ画像が得られる.その画像ボケの度合いは,画素位置及びその位置に対応する奥行きに依存して異なる.そこでまず,このボケ画像の空間分布を推定し,その値から対応する奥行きを計算することができる.この両手法を組み合わせることにより,任意のテクスチャに対する奥行き復元が可能になる.本研究では,それぞれの手法の有効性と性能を,人工画像を用いたシミュレーション及び実画像実験によって評価することを目的とする.

microsaccade

図1.1固視微動のモデル

(9)

1.3.本論文の構成 3

1.3本論文の構成第1章序論

近年のコンピュータビジョンの技術について述べ,人間の視覚系である固視微動と呼ばれる不随意な眼球運動について説明し,固視微動を用いたカメラ運動の従来研究における有効性を説明し,本研究の意義と目的を示すとともに,本論文の構成を述べる.

第2章基礎原理

動画像からの三次元形状復元の基礎原理であるトレモアを模擬したカメラモデルにっいて説明し,画像変位であるオプティカルフロー(2次元速度場)について述べる.

第3章提案手法一微分型

微分型の奥行き復元手法について述べる.まずは,2章で説明したカメラモデルに基づいて得られる剛体運動に関する勾配方程式について述べ,確率モデルについて説明する.

そして,奥行き復元のためのOSL[9]‑MAP‑EMアルゴリズムについて説明する.

第4章提案手法一積分型

積分型の奥行き復元手法について述べる.まずは,2章で説明したカメラモデル基づいて計算されたオプティカルフローと奥行きの関係を分散共分散行列を用いて説明し,ボケ画像から分散共分散行列を導出するために,奥行きに依存する画像ボケの定義について述べる.そして,実際に観測された画像からのボケ検出アルゴリズムについて述べた後, 画像からの奥行き復元アルゴリズムを説明する.

第5章数値評価

人工画像を用いたシミュレーション及び実画像を用いた実験を通して,微分型と積分型の提案手法の有効性を評価する.また,パラメーターを変化させた場合での奥行き復元精度について述べる.

第6章結論

結論であり,本研究で得られた成果を整理するとともに,今後の課題を述べる.

(10)

第2章基礎原理

2.1トレモアを模擬したカメラモデルとオプティカルフロー

Vをカメラの平行移動量uの時間変化,すなわち,平行移動の速度とする.つまり,平行移動成分壱=(u鋤uy,uz)に対して,

サー(箒,箒,dtzdt)T(2.1)

また,Ω=(Ω 、,,ΩΨ,z)Tををカメラ座標 ∬,〃,z軸回りの回転ベクトルとする.各座標軸回りの微小回転dw=(da,4β,dγ)Tに対して,

SZ=dt(2.2)dm

より,

Ω 。一釜,Ω,一誓,Ω ・‑dydt(2.3) である.

第たの時刻からdt時間後の第た+1の時刻の間に,カメラの移動によって,点pのカメラ座標が,x=(x,y,z)から房+dx=(x+dx,y+dy,z+dz)へと移動したとする.これは,カメラが固定されているとみなして,そのカメラ座標で表した空間で,点pが速度成分一Vの平行移動をし,また,回転ベクトルの成分一 Ω で回転運動したことと等価になる.すると,dx=dt+dw〈xより

dt

一方,この間に点pの画像が,PkからPk+1に移動したとすると,画像座標Xとカメラ座標で表した空間座標xとはX=(1/z)xlと結びついていることから,この両辺を時間

で微分して

文̲1(房・zx‑x)

zz

ここで,zはz軸方向の単位ベクトルで,か2はxのz成分である.

これに式(2.4)を代入して整理すると,画像上の動きであるオプティカルフローは

文一V+X匹一6〈X+X(Ω 〈X・z)

zz

(2.5)

(2.6)

(11)

2.1.トレモアを模擬したカメラモデルとオプティカルフロー ⁵

各成分に分解すれば

文一(一.,Ux

z+鋤+x(Vzz)+Ω 必 Ω逐

づ

Y‑(一旦一 Ω 〆+Ω の+Y(Vz)+Ω 。y一 Ω"x となる[9].

(2.7)

(2.8)

本研究に関しては,透視投影モデルを仮定して、図2.1に示すように座標原点(0,0,0)をレンズ中心とし、視軸をz軸にとる。u=[u。c,鞠,uz]T‑',r=[r忽,㌧,T。1Tは並進または回転速度ベクトルであり,投影画像面はZ軸に垂直なZ=1の平面とし、3次元空間内の物体上の点(X,Y,Z)の投影麺である画像座標を(x,y)≡(X/Z,y/Z)におけるオプティカルフ

ローv=[vx,鰯丁は次式を満足する.

vx=xyrx‑(1+x2)ry+yrz‑(ux一側。)d (2.9)

vy=(1+y2)rx‑xyry‑xrz‑(uy一隣)d (2.10)

また,dは奥行きZの逆数であり,画像上の各画素における未知数で,(ru)は画像全体に対する未知数である.次に,トレモア(固視微動の中の最も小さな運動)を模擬したカメラ運動モデル考える.を図2.2に示すように,眼球の回転中心に相当する点がZ軸上で座標原点からZOだけシーンに対して後方に位置するとした場合,Z軸回りの回転は奥行き知覚のための情報を提供しないため,X及びY軸回りの回転速度ベクトルr[rx,刎丁のみとし.この2つの回転により,レンズ中心の並進速度ベクトルuを以下の式で表すことができる.

u=rX

000Z ^=rXryrx O

(2.11)

この並進速度ベクトル奮から,本研究における画像上の投影面におけるオプティカルフ

(12)

"。一瑠バ(1+x2)ry‑Z,。rid≡vx‑ryZ,。d(2.12)

vy‑(1+y2)Tゴ貼+Z・rxd≡"多欄Z・d(2・13)

このカメラモデルを採用することで,並進運動ベクトルが回転運動ベクトルZOで決定でき,機械的に計算可能となる.また、ZOの値を既知としているので奥行き値を絶対的に決める事が可能となる.

(13)

2.1.トレモアを模擬iしたカメラモデルとオプティカルフロー

伝! ・

㌣肱}'

,泌9,勘e

Z!

ryx

rx

図2.1カメラ投影モデル

翻莚ミ1

図2.2図2.1を上から見た図

・毒・

Z

7

(14)

第3章提案手法:微分型

3.1剛体運動に関する勾配方程式

画像上の輝度値をノ(x,y,t)で表すと,運動前後での輝度値不変性の一次近似式(勾配方程式)は,1次元に限れば図3.1のように解釈され次式のように与えられる.ただし,輝度値の運動前後での不変性を厳密に考慮するならば,例えば物体の光反射特性は完全な拡散反射であり,物体と光源が固定された状況でカメラが運動していると考える必要があ

る.

ft‑‑fxvx‑fyvy (3.1)

ここで,ft,ん,fyは時空間の偏導関数である.この式に式(2.4),(2.5)を代入すると剛体運動を表現する勾配方程式は

ft=‑ft(yrx‑ryZoの一ん(yry+r・Zoの

=一(fvTx x+ん㊨一(‑ferry+ん γ・)Zod

̲‐fr‐fud (3.2)

と表すことができる.ft,ん,fyの全ては観測量であり,誤差を含むが,方程式そのものに近似誤差が存在し,これが支配的になることも多いことから,これらの誤差を統計してft にのみ誤差が含まれるものとして扱う.全ての観測量に基づいてr,u,d(x,y)を決定する

ことになる.

(15)

3.2.確率モデル 9

3.2確率モデル

使用するフレーム総数をM,画素数をNとする.確率変数として扱うのは

歪効￠=1...N,j=1...M,丁狸1...Mであり,各画素に対応する奥行き逆数d④6=1̲1vは確率変数として復元する.まず,観測量歪効に加わる観測誤差を平均0,分散 σ塞の正規分布に従うものとすると,ft2?)の条件付き確率モデルは次式を満たす.

p一卿(の,〆の,2Qo)一諾

σ。exp

(∫!信・ゴ)ザ(舞脚)判

(3.3)

次に,眼球の回転速度 γω において,本研究ではでは固視微動のドリフト成分は無視することから,各軸の成分は独立であるとし,平均0の次式の正規分布に従うものとする

と.γω の確率モデルは次式を満たす.

P‑(〆ゴ)1σ1)一(12

7CQr)sexp[一馨)舞ゴ)] (3.4)

Q2rは未知数とする.

以上のモデルより、{{メ!効},{〆ゴ)}}の同時確率は、次式で与えられる。

p({∫!￠,ゴ)},{〆ゴ)}1σ1,2Qr)=

(濡押 ×卿ドM(がゴ)+霧ゴ)+脚)12一 Σダ叢T〆ゴ)}

(3.5)

ここで,本研究では不規則な回転運動r(ゴ)により振動する複数のフレームを利用することから,各画素位置で得られるd④ は純粋にその位置に対応する値ではなく,画像上での振れ幅に相当する近傍領域の平均的な値となる.すなわち,結果的にd④ は周囲と相関を持つものとして得られる.この相関の空間的広がりは奥行きの深さにも依存するものであり,そのような相関を有する変数として最初から扱う必要があるが,今回は簡単のため,次式のように扱う.

P‑(司 σ菱)一(読

σd)Nexp

矧

^(3.6)

(16)

ここで,dはd④ を成分とするN次元ベクトルであり,Lは自由端境界条件を満足する2 次元ラプラシアン演算子である.このモデルにより,空間的に滑らかな奥行きマップが得られることになる.本研究では,分散娼は奥行きの滑らかさを制御する既知の量として扱う.以降では,未知パラメータを θ ≡ σ言,磧として記述する.

(17)

3.3.計算アルゴリズム ¹¹

3.3計算アルゴリズム

本研究ではOSL‑MAP‑EMアルゴリズムを採用する.EMアルゴリズムとは観測されていない未知確率変数(隠れ変数)を観測量に加えて想定したときに,両者(完全データ)が観測されれば問題が解きやすくなる場合に有効な推定スキームであり,その未知確率変数の事後分布とパラメータの最尤推定量を同時に得ることのできる反復手続きである.また,EMアルゴリズムの拡張であるMAP‑EMアルゴリズムによれば,隠れ変数を周辺化

した事後分布に基づくパラメータのMAP推定を行うことも可能である.各反復では以下のステップを実行する.また,関係図を図3.2に示す.

1.E‑stepでは,パラメータを以前の反復で得られている値とした時の隠れ変数の事後分布を求め,これを利用してQ関数と呼ばれるパラメータ更新のための評価関数を算出する.

2.M‑stepでは,Q関数を最大化するようにパラメータを更新する.

上記の2つのステップを収束するまで交互に繰り返す.

本研究においては,上記のアルゴリズムを実行するにあたり,{d,O}をp(♂elがの) に基づくMAP推定量として決定することができる.ただし,θ に関しては事前知識を定義していないので,形式的には一様分布を仮定していることになる.加えて,r(ゴ)は p(r(ゴ)1!汐),0,d)に基づくMAP推定量として得られる.ただし,=は上述のMAP推定

量である.EMスキームでは,!野の,Tω を完全データ,Tω を欠損デー久d,Oを未知量として扱い,EstepとM‑stepを収束するまで交互に反復する.

Estepでは,完全データの対数尤度関数に対し,!1効を観測したときの条件付き期待値操作を,前の反復において得られているMAP推定値d,θ を固定して施す.得られる関数は通常,Q関数と呼ばれる.Q関数を以下に示す.

Q((θ,あ(0,d))≡ 珂伽(摩ゴ),r(ゴ)1(O,d))1がゴ),(O,d)](3.7)

続いてのM‑stepであるが,特にMAP。EMアルゴリズムにおいては,本来のEMアルゴリズムの枠組みではパラメータとして扱う変数,つまり本研究におけるd,Oの事前確率の対数をとったものを,上述のQ関数に加え合わせて,その関数を一.,d,Oに関して最大化して,d,θ の更新を行う.以下では,d,θ を用いて計算される量も,・で表すこととする.前節での確率モデルを用いると,M‑stepで最小化すべき評価関数は,事後確率 p(r(ゴ)fczt・ゴ),d,O)を具体的に記述することによって,次式のように書き下すことができる.

(18)

」(d,O)一一等Nzη σ;‑3望Nど η磧

一鵡{Σ 踏病ゴ

2=1)2+2(会趣ゴ)T)挿)+tr(き曝・)T)琢ゴ)T}

コゆロひ

一嚢善 γ琢ゴ)一甥(3 .8)

魂)≡E[〆ゴ)i踏効,d,O】一一毒謬ゴ)Nf(i,jt i=j)w(効(3.9)

謬・)一(毒き㈲調T憐・プ(3.1・)

バ AババT

R(の ≡E【〆の〆ゴ)Tlr(i,」t・ゴ),d,O]一藤ゴ)+rim)rim)(3.11)

W(z,a)一(!雛)誘2(殖)鶉 ④)+易d④(」欄,))

≡ ゆ8・ゴ)+Z。d(の ω9,ゴ)(3.12)

ちパ

M‑stepでは,式(3.8)を最大にするように{d,e}を更新する.定数項を省略すると式(3.8) は以下のように書き直すことができる.

」(d,O)一一MNIna‑02‑3誓Nzπ 磧づロゆ

一ぎ(暢多∂鍔(3.・3)

(19)

3.3.計算アルゴリズム 13

これにより σ茗とQ2rに関しては,次にように更新式を得られる.

Q20一需,Q2r‑G2M (3.14)

dに関しては,式(3.8)の最終項の各4ω に関する偏導関数が,近傍のdの関数となるので,dの更新には連立方程式を解く必要が生じる.これを避けるため,本研究ではOne‑

Step‑Late(OSL)テクニックを適用する.

すなわち,近傍のdは得られている値を固定した定数とみなし,偏導関数を0とおいた方程式を各d② のみの方程式と考えて解く.解は次式のように得られ,これを更新式とする.

4も)e

詳り自0^0

σ該z・Σ 狸、孟r(△)(効(R)(ゴ)+Q20 σ暑易 Σ 狸・{ftZ,ゴ)W(Z,dの丁魂)+tr(B㈲R6))}

σ 該z8Σ 狸、tr(A(i,j)R(ゴ))+Q20 (3.15)

上式における ♂のは,dω の4近傍系の4④ を除いた参算術平均を示す.ここで,鴫も現在の値に固定しており,こうして得られた更新式dを式(3.14)に代入することで σ暑の更新が行われる.また,A㈲,B(z,a)は,以下のように定義される.

A㈲ ≡ 碓ゴ)暗のT (3.16)

B(→(盛,ゴ効=Wd)ゆ野ゴ)T+δ 皇ゴ)ゆ皇のT

2 (3.17)

(20)

.f 時刻t日寺亥膨+δt

z/Vx

x

図3.1勾配方程式

EMアルゴリズムE‑step

{d,0}更新のためのQ関数の導出

M‑step

{d,0}を更新

図3.2EMアルゴリズム

(21)

15

第4章提案手法:積分型

4.1オプティカルフローと奥行きの関係

Mを奥行き復元に使用するフレーム数とし,〆のゴ=1,̲,Mを平均0,σ 紅に従う2次元正規乱数として扱うと,確率密度関数は以下のように表せる.

p‑(〆ゴ)1σ1)‑1exp2

」LQrl2(一脅)楚5)) ^(4.1)

ここでQ2rは未知数である.2章で導出されたオプティカルフローの式(2.2),(2.3)と〆ゴ) の確率特性から,vも平均0の2次元正規分布に従う確率変数で、理論値の分散共分散行列は以下のように導出することができる.

V[v]̲ x2y2+(1+x2+Z。d)2

2xy(1+ギ+Z。の

烈講器]2Qr

^(4.2)

左上の成分から(1.1),(1.2),(2.1),(2.2)成分とする.dは各画素に対応する未知数で,Q2rは全画素に対応する未知数である.ここでもし分散共分散行列を求めることができれば、奥行き情報d=1/Zを持っているので奥行き値を計算することが可能となる.

(22)

4.2奥行きに依存する画像ボケ

今回使用するカメラモデルから観測される画像から,式(4.5)で定義した分散共分散行列を求める手法はいくつか存在する.最も容易な手法として,複数枚の画像から検出されるオプティカルフローの2次値の算術平均として統計的に計算する方法がある.しかし, 本研究では時間的なサンプリングレートに対して画像の模様パターンが細かいと想定しているため,オプティカルフローを正確に検出するのは困難である.そこで,分散共分散行列を局所的な画像ボケの分布を利用して計算する手法を採用した.そこで,カメラ運動から得られたM枚の画像fj(x)ゴ=o.…Mの算術平均画像をf。v。(x)とすると,Mが漸近的に大きい場合には,∫ 。。,(のと局所的に定義される2次元ガウス関数g忽(勾と原画像fo(x)の関係式を以下の式で定義する.

鰯一ゐ、9x(轍一ゴ)dx (4.3)

上式においてxは画像上の位置を表し,脱はx周りの局所領域を示す.つまり、ボケ画像 fav,(のが求まれば ∫g、(x')面'=1を満たすので,9x(x')から分散共分散行列を求めるこ

とができる.

(23)

4.3.ボケ検出アルゴリズム 17

4.3ボケ検出アルゴリズム

観測された画像からのボケの空間分布の検出と,それに伴う分散共分散行列の導出について説明する.本研究では,周波数領域ではなく画像領域でボケ分布を検出する.検出方法は,一段方式と多段方式に分類できる.一段方式では,未知数喝=1̲1v(Nは画像上の画素数)とQZrのすべての制約を保ちながら,ボケ分布を検出する.画像上の全ての画素で, 式(4.2)の分散共分散行列を持ったガウス関数9記@)を同時に決めることになり,diとQ2r

が最適に求まる.一方で多段方式の場合は,まず画素ごとに,式(4.2)の制約を外してガウス関数の分散共分散行列を求める.その後,diと σ舞は式(4.2)の制約に基づいて分散共分散行列から求める。本研究では,提案する積分型の有効性を確認する目的で,多段方式を採用した.また,ガウス関数の制約を外した上で,分散共分散行列は簡単な統計値で推定した.以下で具体的なアルゴリズムを説明する.

原画像fa(x)とfav。(x)を使用する.計算の簡略化のため9x(x)の代わりにガウス関数の制約を外したボケ関数をw.(￠)とする.ω 。(x)のサポート範囲をP×P画素からなる離散的な矩形領域とし,w記(x)のP×P成分を一列に並べたP2次元ベクトルをwi(iは画素のインデックス)とする.同様に、fo(x)と ∫。。。(x)の画素i周りのP×P画素を一列に並べた離散表現をfo,2av,とする.wiとfoのイメージ図を図4.1,図4.2に示す.foを用い

つ

て,P2×P2行列Fzを以下のように定義する.

戸一[fO+1fO+2…fO+P2] (4.4)

戸のイメージ図を図4.3に示す.また,ボケ関数が成分に対して通常持っている正規化条件 Σ 南ω歪㈹=1を無視し,各画素2の目的関数を以下のように定義する.

Jz(wz)一(FzTw.2‑2av,)T(FzTw.2‑2av。) (4.5)

上式において,w2に対して」(wz)を微分することで以下の式を導出できる.

毎一(FiFaT)‑1FZ2fav, (4.6)

ここで,式(4.5)で定義されたオプティカルフローの分散共分散行列に理論的に対応する分散共分散行列Vの成分を推定する必要がある.Wiがガウス分布であると仮定すると,

(24)

以下のように隔の成分の推定値を求めることがきる.

P2

V(、.、)一 Σ ω(ん)w2(k)(4.7)

k=1

P2

V(i.a)=V(2.2)=Σ 記㈹9(k}iv2(k)(4.8)

ん=1

PZ

V(22)=Σ 〃(ん)wz(k)(4.9) k=1

(x(ん),y(た))は,(0.0)を中心とした局所領域の点鳶に対応した2次元座標値を表している.

(25)

4.3.ボケ検出アルゴリズム

P

ll

Pr口

w(x)

fo(x)またはん。,(x)「wl

図4.1wiのイメージ図

P

徊l

fo(x)またはゐ。(X)π または鑑,

図4.2foのイメージ図

19

(26)

P

國

原画像fo(x)

図4.3Fiのイメージ図

(27)

4.4.奥行き復元アルゴリズム ²¹

4.4奥行き復元アルゴリズム

前節で求めた分散共分散行列を用いた奥行き復元の原理について説明する.分散共分散行列の理論値の式(4.5)と推定値の式(4.7),(4.8),(4.9)を用い,各diに対する方程式は以下のように導出できる.

1+x?+Zadz=

聖)‑22x2yZ≡_r α・・a2‑(・+x2+Zod2) (4.10)

・+2+易4乞2撫 ≡鍋一(・+禦多+Zodz) (4.11)

1+y2+Zod2=

聖)一潔 ≡!2/2‑(・+2y2+Zodz) (4.12)

上から(1.1)成分,(1.2)または(2.1)成分,(2.2)成分に関する式ある.上式を用いて目的関数を以下のように定義できる.

」@)…(ai‑{1+x?+Zpdi))'+ω β(属一(1+撃綱)2+wry( (・+醜))'

{4.13)

最小2乗法より,d2は以下のように決定できる.

dZ‑1Z

o(ω αα￠+ω β角+ω 搬一(ω α+誓)xi‑(wy2)y2‑・)) (4.14)

wα,ω β,ωッは式(4.10),(4.11),(4.12)に対応する重みであり,wa+ω β+wy=1である.特に,w、=ws=ω7=1/3の場合,式(4.14)は以下のように表せる.

扇一均(a2+警+'Yi̲x?+yZ2‑・(4.・5)

適切な重み成分の決定のために,式(4.10)の右辺をテイラー級数展開して一次項を取り出すと,誤差成分をby(1.1)/(2V(11)QZr‑x?aQ4zyar)とみることができる.δ 聾(1.1)は式

(28)

(4.7)における検出誤差である.同様に,式(4.11),(4.12)をテイラー級数展開し一次の項で取り出すと,誤差成分を δ稀(1.2)/2xiyiQr,SU(2.2)/(2V(22)嫁一壕〃多σ 募),とみることができる.ここで,SV(1 .1),δ鷲(1.2),δ稀(2.2)が同じ分布を持つ正規乱数とすれば,wα,ω β,wy に関して以下の重みづけを行うことで最尤推定量としてd2を決定することができる.

v(1.1)一姥9多 σ蓼(4

.16)

2Ua=

v(・.・)+V(・.・)一卿多 σ 婁

ω β= 励多σ霧

V(・。・)+v(22)‑x?2Qa2yzT (4.17)

ω ツ= V(2.2)一励多 σ 葬

V(・.・)+V(22)‑x2202iyir (4.18)

v(1.1),V(12),V(2.2)は理論値であるため,実際にはこの値を知ることができない.そのため,推定値のv(1.1),v(1.2),U(2.2)を用いて重みづけをする必要がある.

(29)

23

第5章数値評価

5.1人工画像による数値評価

以下に人工画像を用いて行った数値評価の結果を示す.図(2.1),図(22)のモデルにおいて,カメラ座標から画像面まで(焦点距離)を1としたとき,画像のサイズを1×1とし

た.微分型,積分型手法共に同様の人工画像を使用した.256×256画素,輝度値が8bit のグレー一スケー一ル画像である.原画像を図5.に,設定した奥行きマップを図52に示す.

図5,2において,横軸は画像上の位置,縦軸は奥行きを示している.

また,画像上の模様の違いによるそれぞれの奥行き復元手法の特性を調べるために,原画像図5.1を周波数分解した画像を図5.3から5.6に示す.図5.3が低周波数成分で,図5.6

が高周波数成分になっていることに注意する.

10 8 Z8

7 6 5

図5.1原画像

図5.2設定した奥行きマップ

(30)

1試

図5.3周波数分解画像図5.4周波数分解画像

図5.5周波数分解画像図5.6周波数分解画像

(31)

5.1.人工画像による数値評価 ²⁵

5.1.1微分型

勾配方程式がを用いる際に成立すると考える画像対は,生成された各画像と原画像のペアとする.また今回は,仮定している確率モデルのもとでアルゴリズムが正当に機能するかを確かめる目的から,図5.1から空間微分値fx,んを計算し,式(3.2)と{r(ゴ)}および dの設定値を用いて{ft}を計算した.得られたft,fx,んをそれぞれ図5.3,図5.4,図5.5

に示す.

提案手法では,画像生成の際に勾配方程式の線形近似誤差が十分小さい観測の利用を想定しているため,オプティカルフローの大きさが図5.1の画像のテクスチャパターンに対して十分小さいことが望まれる.これを満足するように,σ,=5‑3と設定し,オプティカルフローの大きさをおよそ1ピクセル程度とした.また,上述のように理論的に計算された{ft}の標準偏差の約1%に相当する標準偏差を有する正規分布に従う乱数を,観測雑音として{ft}に加えて,これを観測量とした.σ 苔と磧の初期値は,任意の値として 10̲2とし,dの初期値はZ=9.0の平面に相当する値とした..基準値として,使用する画像の枚数Mは100枚,奥行きに対する滑らかさ拘束の度合い弓は10‑4とし,MAP‑EM アルゴリズムの反復は100回までと設定し,基準値の値を変化させ奥行き復元精度を評価する.画像の枚数Mを変化させた場合の奥行きマップを図5.10から図5.13に示し,枚数を変化させた際の復元誤差の推移のグラフを図5.18に示す.次に靖を変化させた奥行き復元結果を図5.14から図5.17に示し,復元誤差の推移のグラフを図5.19に示す.σ 菱の効果,すなわち奥行きに対する滑らかさ拘束の度合いは,式(3.6)および式(3.13)からもわかるように,σ 言との比率で決まるため,σ 差の値は σ言に対する倍率で調節した.σ 菱が σヨに対して小さいほど滑らかさ拘束は強くなるため σ菱を変化させた際のEMアルゴリズ

ムのステップ数の変化による復元誤差の推移のグラフを図5.20に示す.

また,画像の模様の変化による奥行き復元結果を図5.21から図5.24に示す.これらは, 図5.3から図5.6に対応する奥行き復元結果である.

(32)

図5.7ftの図

図5.8fxの画像図5.9fyの画像

(33)

5.1.人工画像による数値評価 27

Z

210987654

7a

図5.10.M=50での復元マップ

12 11

zll

8 7 6 5 4

700

7Q

図5.11M=100での復元マップ

(34)

Z

21098ア654

7flO

70

図5.12M=500での復元マップ

Z

210987654

iao

70

図5,13.M=1000での復元マップ

(35)

Z

210987654

70

図5.14滑らかさ拘束なしの復元マップ

Z

210987654

70

図5,15σ 菱=0.01での復元マップ

(36)

Z 12 11 10

70

図5.16靖=o.001での復元マップ

Z

210987654

70

図5.17σ 差=0.0001での復元マップ

(37)

5.1.人工画像による数値評価

の]のΣ匡の国のΣ匡

o.i2

0,1

0.08

0.06

0,04

0.oz

O

501005001000

枚数M

図5.18枚数変化における復元誤差推移のグラフ

0.7

0.6

0,5

0.4

0.ヨ

o.z

d.1

0

拘束なしO.10・010・OO10・OOO1

2 σ

ゴ

図5,19靖の変化における復元誤差推移のグラフ

一一一固………㎜ … …

ノ

＼ i▼ T

■1

31

(38)

りり国りりΣ匡

図5.20

2.50E+00

2.00E+00

1.50EfOO

1.00EfOO

5.00E‑0ユ

0.00E+00

曜一lo〒 →OHOHwe→o賢一loマ →uコHゆマ→ 嬉)軍 →o

F1▼ →N「VmM「卜r「LnLn咀o卜㌧卜」 ◎owσ ㌔ σ}

試行回数

EMアルゴリズム試行回数における復元誤差推移のグラフ

26 d

巽『

唱畔

詮

拘束なし 0.1

一

・一一一〇 .01

0,001 0.0001

一

区＼.＼一

}「 ●『一五酉四̲厚}噌臨颪巳曜琳㌦}」州7,ご,、7二』堀r‑一上」r旭働=層凶{L‑ili+il 卜1

「卜51

(39)

1A l Z1

0

70

図5.21周波数分解画像図5.3における奥行き復元マップ

Z

420864

0

70

図522周波数分解画像図5.4における奥行き復元マップ

(40)

Z

4

0

70

図523周波数分解画像図5.5における奥行き復元マップ

14 12

Z 10

s 6 4

0

70

図5.24周波数分解画像図5.6における奥行き復元マップ

(41)

5.1.2積分型

本研究では,固視微動のドリフト成分は無視しており,したがってカメラの微小回転によって生じる画像上の各位置の移動範囲が発散するのを避けなければならない.これを簡単に実現するために,図5.18に示した原画像に対し、回転ベクトルr(ゴ)の正規乱数を発生させて複数枚の画像を生成し,図5.19に示す算術平均画像を作成した.基準値として, 使用する画像の枚数Mは100枚,σ,=5‑3,分散共分散行列を推定するための局所領域 P=9とし,基準値の値を変化させ奥行き復元精度を評価する.ここで,分散共分散行列を推定するための局所領域Pは,算術平均画像のボケ分布の大きさに相当する〆ゴ)の大きさで変化する.そこで本研究では,理論値の分散共分散行列を計算し,その最大値に応

じてPの領域を調節した.具体的にはP=maxV[v]×6で定義した.

設定した奥行きと,σ,の値を用いて式(4.2)から得られた理論値の各成分における分散共分散行列のマップを図5.19から図5.21に示す.理論値の分散共分散行列を用いて式 (4.16),式(4.17),式(4.18)から得られる理論値の重みwα,wQ,ω7のマップを図5.22から図 5.24に示す.次に,式(4.7),式(4.8),式(4.9)から得られる推定値の各成分における分散共分散行列のマップを図5.25から図5.27に示す.推定値の分散共分散行列を用いて式(4.16), 式(4.17),式(4.18)から得られる推定値の重み ωα,ωβ,ωッのマップを図5.28から図5.30に示す.上記の推定値における分散共分散行列と重み成分を用いて奥行きを復元する.まず,画像の枚数Mを変化させた場合の奥行きマップを図5.31から図5.34に示す.また枚数を変化させた際の復元誤差の推移をグラフを図5.39に示す.次に,画像上の動きの大きさに相当する〆ゴ)の大きさを0.004から0.007まで変化させた場合の奥行きマップを図 5.35から図5.38に示し,復元誤差の推移をグラフを図5.40に示す.

また,画像の模様の変化による奥行き復元結果を図5.49から図5.52に示す.これらは, 図5.3から図5.6に対応する奥行き復元結果である.

(42)

図5.25算術平均画像

図526設定した奥行きマップ

(43)

5.1,人工画像による数値評価 37

4 555000心心弔

図5.27理論値の分散共分散行列(1.1)成分のマップ

、1:駕翻 :翻

一1 .Se‑00

‑2e‑00

4.48‑Q 4.2e‑0 4e‑0

:認

4e‑0 2e‑〇

二8

‑0

図5.28理論値の分散共分散行列(1.2)成分の図5.29理論値の分散共分散行列(22)成分の

マツプマツプ

(44)

図5.30理論値の重み成分w、のマップ

濫㎝灘鑑

図5.31理論値の重み成分wbのマップ図5.32理論値の重み成分w。のマップ

(45)

5.1,人工画像による数値評価 39

鵯::

諜 1:‑00‑00:

図5.33推定値の分散共分散行列(1.1)成分のマップ

2e‑00 1.5e‑QO le‑00 5a‑00

二1:=QOOO

,1 .5eロOO

面曲曲曲醐曲曲7ハ054321

図5.34推定値の分散共分散行列(1.2)成分の図5.35推定値の分散共分散行列(2.2)成分の

マツプマツプ

(46)

図5.36推定値の重み成分w、のマップ

㎝㎝㎜鵬脳鯉

図5.37推定値の重み成分wbのマップ図5.38推定値の重み成分w。のマップ

ランダムなカメラ運動 を利用 す る画像 か ら の奥行 き検 出手法

平成23年 度博士前期課程学位論文