第 5 章 視差拡散・吸収に基づくステレオマッ チング回路の自動構築チング回路の自動構築
5.3 視差算出実験
5.3.1 実験設定
≤一様交叉
交叉率Pcでマスクパターンに応じて遺伝子型の各要素を2個体間で交換する．マスクパ ターンの各要素は一様交叉率Pucで1，(1 Puc)で0となり，マスクが1である要素に対して 交換を行う．
≤遺伝子の突然変異
遺伝子の突然変異率Pmで遺伝子型の各要素をランダムに変更する．
適応度関数
CGPの1個体とGAの1個体を対として扱い，1対に対して適応度を算出する．適応度関数は，
4.2.3節と同様である．
表5.1: CGPに関するパラメータ
Parameter Value
Input nodes 9
Operation nodes 20
Output nodes 1
Operator See Table 5.2.
Generations 5000
Generation alternation model MGG
Population size 100
Children 30
Crossover ratePc 0.6 Uniformity Crossover ratePuc 0.1 Mutation ratePm 0.02
表5.2: CGPの演算ノード
Function Formula
Add (+) f(x1,x2)=x1+x2
Subtract (-) f(x1,x2)=x1 x2
Multiply (÷) f(x1,x2)=x1÷x2
Divide (±) f(x1,x2)=⎫⎝⎝⎝⎬
⎝⎝⎝⎭
x1
x2 (x20) 1 (x2=0) Exponential (exp) f(x1)=expx1
Log (log) f(x1)=logx1
Sigmoid f(x1)= 1
1+exp( x1) 1.0 f(x1)=1,0
0.1 f(x1)=0.1 -1.0 f(x1)= 1.0 0.0 f(x1)=0.0
表5.3:各手法のERth，RMSと処理時間
BM BP GC CEN (prev.) CEN (new)
Training ER1.0 0.255 0.320 0.310 0.205 0.155 (tr0-9) ER2.0 0.190 0.206 0.240 0.160 0.122
RMS 4.87 6.07 5.85 3.48 2.51
Test ER1.0 0.248 0.289 0.299 0.218 0.183 (ts0-16) ER2.0 0.179 0.203 0.233 0.168 0.130
RMS 4.21 5.31 5.26 3.33 2.39
Running time [sec] 22.28 0.84 5.55 1.77 1.48
5.3.2 実験結果と考察
従来手法との比較
学習画像，テスト画像の一部に対する各手法の視差画像を図5.4に示す．4.3.2節で述べたよう
に，CEN (prev.)は全体的に3つの従来手法よりも誤マッチング領域が少なく，特に境界やオクルー
ジョン付近において良好な結果を示している．しかしながら，図5.4(b)，図5.4(d)，図5.4(e)のテ クスチャレス領域や周期的なテクスチャ領域において大きな誤マッチング領域が発生している．
一方でCEN (new)は，CEN (prev.)と同様に境界やオクルージョン付近が良好に処理されている
ことに加え，CEN (prev.)で散見される細かい誤マッチング領域もCEN (new)では減少しているこ とがわかる．また，CEN (prev.)では困難であったテクスチャレス領域や周期的なテクスチャ領域 において誤マッチングが大幅に改善している．図5.4(d)，図5.4(e)を見るとわかるよう，これらの 領域に対して良好な結果を示しているBMと比較しても，CEN (new)ではより理想視差画像に近 い視差画像が得られている．特に図5.4(b)におけるテクスチャレス領域に関してはいずれの手法で もマッチングが困難であったのに対し，CEN (new)ではほぼ良好に処理されている．したがって，
図5.4(a)から図5.4(e)全てにおいて他の手法と比べて最も理想視差画像に近い視差画像が得られて
いる．
各手法のER1.0，ER2.0，RMSと処理時間を比較した結果を表5.3に示す．CEN (prev.)と比較し て，CEN (new)では学習，テストともにER1.0，ER2.0，RMSが低く，かつ処理時間も短くなって いる．つまり，CEN (new)によって高速化と精度向上を同時に実現できたといえる．
Left
BM
BP
GC
CEN (prev.)
CEN (new)
Ground truth
Reliability map of CEN (new)
(a) tr2 (b) tr6 (c) ts1 (d) ts6 (e) ts15
図5.4:各学習画像，テスト画像の一部に対する各手法の視差画像
0.0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0
CEN (prev.) CEN (new)
Running time [sec]
Initial disparity map creation
Disparity propagation or diffusion/absorption
図5.5: CEN (prev.)とCEN (new)の処理時間の割合
初期視差最適化に関する考察
図5.5にCEN (prev.)とCEN (new)の処理時間の割合を示す．図5.5によれば，CEN (prev.)の視 差伝搬に要する時間とCEN (new)の視差拡散・吸収に要する時間はほぼ同じである．それに対し
てCEN (new)の初期視差画像生成までに要する時間は，CEN (prev.)の初期視差画像生成までに要
する時間と比べて短くなっている．ここで図5.6に示すCGPによって最適化されたマッチングコ スト関数を見ると，演算ノード数が5つというシンプルな関数が得られていることがわかる．した
がって，CEN (prev.)で用いていた式(4.10)，式(4.11)のマッチングコスト関数よりも計算コストが
低くなり，初期視差画像生成までの処理が高速化されたと考えられる．
図5.4(d) ts6と図5.4(e) ts15に対するCEN (prev.)とCEN (new)の初期視差画像を図5.7に示す．
CEN (prev.)では簡易なマッチングコスト関数によって初期視差を計算しているため，周期的なテク
スチャ領域，テクスチャレス領域において大きな誤マッチングが発生している．一方でCEN (new) では，細かい誤マッチングが各所で発生しているものの，上述した領域において良好な視差が得ら れていることがわかる．これは最適化したマッチングコスト関数によって精度が向上した結果であ るといえる．
図5.4(d) ts6と図5.4(e) ts15の左画像IL，右画像IRに対し，図5.6に示す関数を用いて式(5.1) における f(IL)と f(IR)を計算した結果を図5.8に示す．図5.6に示した関数では対角画素の演算を 行っていることからもわかるよう，f(IL)，f(IR)では基本的に垂直・水平方向のエッジが検出され
ている．CEN (prev.)で用いているマッチングコスト関数においても式(4.11)に示すようエッジ画
像を用いているが，図5.7に示すようCEN (new)の方が良好な初期視差画像が得られている．した がって図5.6の最適化された関数には，一見テクスチャが無いように見える領域においても微妙な 階調変化を強調させる効果があると考えられる．この効果によって，図5.7に示したようにCEN
(prev.)ではマッチングが困難であった領域に対しても良好にマッチングを行うことができたと考え
られる．
1 2 3
4 5 6
7 8 9
3×3 window
図5.6: CGPによって最適化されたマッチングコスト関数
(a) CEN (prev.) (b) CEN (new)
図5.7: ts6とts15に対する初期視差画像
(a)左画像IL (b) f(IL) (c)右画像IR (d) f(IR)
図5.8: ts6とts15の左右画像に対するマッチングコスト関数適用結果
視差拡散・吸収に関する考察
CEN (new)のセルの回路構造を図5.9に示す．黒いユニットは応答速度の速いユニットである．
ユニット間の結線に付随する数値は結合荷重を示している．入力ユニットの種類が3つ，出力ユ ニットが1，中間ユニット数が3の回路が構築された．
この回路の図5.4(b) tr6と図5.4(e) ts15に対する遷移の様子を，それぞれ図5.10(a)と図5.10(b) に示す．図5.10(a)，図5.10(b)いずれにおいても，誤マッチング領域のほとんどが最終的に良好な 視差に更新されている．これは誤マッチング領域に対するセルが吸収性セルとなり，周囲のreliable な視差をもつ拡散性セルの作用を受けて積極的に視差を更新したためであると考えられる．セルを 拡散性，吸収性とに役割分担したことによって，CEN (prev.)のように局所的にunreliableなセル同 士の作用が支配的になることがなくなり，特に図5.10(a)のように初期の大きな誤マッチング領域 に対しても良好に処理を行うことができるようになった．
しかし，図5.10の遷移終了後の視差画像において，視差が更新されない細かい誤マッチング領 域や，水平，垂直方向に伸びた線のような誤マッチング領域も存在する．これは，初期視差が誤っ ているにもかかわらず拡散性となってしまったセルが原因であると考えられる．つまり信頼度の誤 りである．誤って拡散性となったセルが孤立領域を形成してしまうと，その領域では誤った視差を もつ拡散性セル同士でしか視差伝搬が行われなくなってしまう．そのため遷移を重ねても適切に視 差を更新できず，初期の誤マッチングのまま残留してしまう．さらに，誤って拡散性となったセル が誤った視差を周囲の吸収性セルに伝搬してしまうと，水平，垂直方向に伸びた線のような誤マッ チング領域が発生してしまう．したがって，今後更なる視差精度の向上を行うには信頼度分布の精 度向上が必要となる．
また図5.10(a)，図5.10(b)いずれにおいても，t=7という早い段階で誤マッチング領域が急激に
減少しその後ほぼ視差が変化していないことから，少ない遷移回数でも同様な精度の結果を得るこ とができたと考えられる．実験設定として規定する遷移回数をより小さい値とすれば，更なる高速 化が期待できる．
5.4 まとめ
本章では，視差拡散・吸収に基づくステレオマッチング回路の自動構築法を提案し，Middlebury
stereo datasetを用いて視差算出実験を行い提案手法の有効性を検証した．新たに導入した初期視差
最適化と視差拡散・吸収の効果によって，第4章で提案した視差伝搬に基づくステレオマッチング と比較し，計算コストを低減した上で精度の向上が実現できることを示した．
また信頼度分布の精度向上，遷移回数の設定の見直しを行うことによって，更なる精度向上と高 速化が見込めることがわかった．
Fitness: 0.898
# of hidden units: 3
# of transitions: 27
図5.9:構築されたセルの回路構造
t=0 (Initial) t=7 t=14 t=21 t=27 (Result)
(a) tr6
t=0 (Initial) t=7 t=14 t=21 t=27 (Result)
(b) ts15
図5.10: tr6とts15に対する回路の状態遷移の様子