第 4 章 視差伝搬に基づくステレオマッチング 回路の自動構築回路の自動構築
4.3 視差算出実験
4.3.2 実験結果と考察
Left
Right
BM
BP
GC
CEN
Ground truth
Reliability map
(a) tr2 (b) tr6 (c) ts1 (d) ts6 (e) ts15
図4.5:学習画像，テスト画像の一部に対する各手法の視差画像
表4.5:各手法のERth，RMSと処理時間
BM BP GC CEN
Training ER1.0 0.255 0.320 0.310 0.205 (tr0 - tr9) ER2.0 0.190 0.206 0.240 0.160
RMS 4.87 6.07 5.85 3.48
Test ER1.0 0.248 0.289 0.299 0.218 (ts0 - ts16) ER2.0 0.179 0.203 0.233 0.168
RMS 4.21 5.31 5.26 3.33
Running time [sec] 22.28 0.84 5.55 1.77
(a) ER1.0
(b) RMS
図4.6:各テスト画像に対するER1.0とRMS
構築された回路に関する考察
得られたセルの回路構造を図4.7に示す．黒いユニットは応答速度の速いユニットである．ユニッ ト間の結線に付随する数値は結合荷重を示している．4.2.2節で述べたように，近傍入力の結合荷 重を変更したため入力ユニットの種類が3つ，外部出力と近傍出力を統合したため出力ユニットが 1，中間ユニット数が5という回路が構築された．
図4.5(a) tr2に対するこの回路の遷移の様子を図4.8(a)に示す．遷移を行うにつれて視差が伝搬さ
れ，誤マッチング領域が徐々に良好な視差に更新されている．境界やオクルージョン付近の領域に 注目すると，物体に沿って視差が伝搬され良好に処理されている．図4.5の最下段に示す信頼度分 布をみると，それらの領域がunreliableとして検出されていることがわかる．したがって，境界や オクルージョン付近の誤った初期視差をunreliableとして適切に検出し，視差伝搬によってreliable な視差をもとに良好な視差に更新されたと考えられる．
次に，図4.5(e) ts15に対するこの回路の遷移の様子を図4.8(b)に示す．画像中央の柱状の物体の
左側に位置する誤マッチング領域では，全く視差が更新されていないことがわかる．これは，reliable
なセルとunreliableなセルの作用よりもunreliableなセル同士の作用の方が支配的になってしまっ
たためであると考えられる．この誤マッチング領域はテクスチャレス領域であり，初期視差算出で
は簡易なlocal法を用いているためマッチングが困難である．図4.5(e)の信頼度分布を見るとこの
領域がunreliableとして検出されているため，周囲のreliableな視差をもとに良好な視差に更新さ
れることを期待していた．しかしunreliableな領域が大きいとunreliableなセル同士の作用が支配 的になってしまい，視差が伝搬されず適切に更新されなかったと考えられる．
また，図4.8(a)と図4.8(b)のいずれにおいても，視差が適切に更新されない小さな誤マッチング
領域が散在する．これも上述したように，局所的にunreliableな領域が周囲のreliableな領域より も大きくなり，unreliableなセル同士の作用が支配的になったことが原因であると考えられる．こ のような問題点は，初期視差の精度向上を図って初期の誤マッチング領域をなるべく減らしたり，
unreliableなセル同士の作用が支配的にならないよう視差伝搬方法を改めることによって改善が期
待できる．
4.4 まとめ
本章では，視差伝搬に基づくステレオマッチング回路の自動構築法を提案し，Middlebury stereo
datasetを用いて視差算出実験を行い提案手法の有効性を検証した．従来手法が精度とスピードに
トレードオフを有し，多様な画像に対して安定的に視差を出力することが困難であるのに対して，
提案手法は多様な画像に対して安定的に高精度な視差を高速に出力できることを示した．また，初 期視差算出の高速化と精度向上，視差伝搬方法の再検討を行うことによって，更なる性能向上が期 待できることがわかった．
図4.7:構築されたセルの回路構造
t=0 (Initial) t=7 t=14 t=21 t=27 (Result)
(a) tr2
t=0 (Initial) t=7 t=14 t=21 t=27 (Result)
(b) ts15
図4.8: tr2とts15に対する回路の状態遷移の様子