第 4 章 視差伝搬に基づくステレオマッチング 回路の自動構築回路の自動構築
4.2 CEN による視差伝搬に基づくステレオマッチング
4.2.1 概要と主な特徴
提案するCENによるステレオマッチングの原理を図4.1に示す．以下，本論文では左画像に対 する視差を求めるものとする．提案手法では，まず簡易なlocal法によって左右画像それぞれに対 する初期視差を算出する．次に，左右画像それぞれに対する初期視差の整合性をもとにして，左画 像に対する初期視差の信頼度を算出する．最後に，左画像の初期視差をCENに入力し，信頼度に 基づいて状態遷移を行い，視差を伝搬させる．最適化された回数の状態遷移の後，各セルの出力値 を最終的な出力視差として得る．学習時には，左右画像に対してこのような処理を行い，出力視差 と理想視差の誤差が小さくなるようにセルの構造をGAによって最適化する．
次に従来手法に対する提案手法の主な特徴を示す．
1. 高速処理
Global法では，式(4.8)で表されるエネルギーを各画素に対して視差ラベル毎に扱うため，
3次元情報を扱うことになる．一方で提案手法では，各画素に対して1つの視差ラベルだけ を扱う．つまり，全体として2次元情報を扱うことになるため，global法と比較して少ない 計算コストで処理を行うことができる．
2. マッチング困難な領域への対応
オクルージョンやテクスチャの無い領域などのマッチングが困難な領域では，誤った初期視 差が得られると考えられる．しかし，信頼度に基づいてセル同士を相互作用させながらCEN で視差を伝搬させるため，周辺領域の信頼できる視差をもとに，マッチング困難な領域に対 しても適切な視差を出力することが期待できる．
3. 汎用性
進化計算法によって視差の伝搬ルールを獲得することで，多様な画像に対して安定的に高 精度な視差を出力することが期待できる．
4.2.2 処理の流れ
初期視差の算出
まず最初に，簡易なlocal法を用いて初期視差を算出する．2種類のマッチングコスト関数CAD， CGADを，3÷3ウィンドウW内のRGB値の絶対値差分を用いて以下のように定義する．
CAD(x,y,d) =
(i,j){W
RGB
IL(x+i,y+j) IR(x+i d,y+j) (4.10) CGAD(x,y,d) =
(i,j){W
RGB
√IL(x+i,y+j)√ √IR(x+i d,y+j)√ (4.11) ここで，ILとIRは左画像と右画像,√IL√と√IR√はIL,とIRのエッジ画像である．これらのマッチ ングコスト関数を用いて，ILに対する初期視差画像DLを以下のように求める．
DL(x,y)=arg min
d
CAD(x,y,d)+CGAD(x,y,d)
(4.12) 右画像に対する初期視差画像DRも同様の方法によって算出する．
信頼度の算出
左画像を基準として初期視差を算出した場合と右画像を基準として初期視差を算出した場合と で，対応する位置にある視差同士は同じ値をもつべきである．したがって，DLとDRの整合性を 確認することによってDLに対する信頼度を算出する．整合性を示す値cを以下のように定義する．
c(x,y)=√DL(x,y) DR(x DL(x,y),y)√ (4.13) このcが小さいほど整合性が取れていることを示す．ここで，実験的にc(x,y)≥1ならばDL(x,y) は信頼できると定義し，DLに対する信頼度分布RLを二値画像として算出する．
RL(x,y)=⎫⎝⎝⎬
⎝⎝⎭ 1 (reliable), ifc(x,y)≥1
0 (unreliable), otherwise (4.14)
この信頼度分布によって，DLの誤マッチング領域を大まかにハイライトすることができる．
信頼度に基づく視差伝搬
CENを用いて初期視差を伝搬させることによって，最終的な出力視差画像を得る．それにあた り，CENのセルの構造とセル同士の結合関係を変更する．
まず，各セルの外部入力Ieを廃止して近傍入力Iiだけとし，かつ近傍出力Oiを外部出力Oeと 統合しOの1つとする．これは，初期視差をCENに入力しセル同士の相互作用によって伝搬させ 徐々に更新していくことが狙いである．したがって毎回の遷移で必要となる情報は近傍入力Iiと外 部出力Oeであると考え，このような変更を行う．
また近傍入力Iiの結合荷重を方向毎にそれぞれ同一とする．つまり近傍入力Iiが5つの場合，図 4.2に示すように結合荷重は3種類となる．ステレオマッチングでは，対応点を求める方向である 水平方向と垂直方向とで情報の意味が異なると考えられる．したがって方向毎に有効な伝搬ルール を獲得させるため，このような変更を行う．
次に，セル同士の結合関係を変更する．各セルに信頼度RLを割り当て，図4.3に示すように，信 頼できないセルから信頼できるセルへの結合を切断する．これによって，信頼できない初期視差は 周囲の視差に影響を受けて更新される一方，信頼できる初期視差は信頼できない初期視差に影響を 受けて更新されることがない．したがって，信頼度分布によってハイライトされた誤マッチング領 域の視差を，周囲の視差を伝搬して補間することを期待する．
視差伝搬の手順は以下の通りである．
1. 初期視差画像DLを，最大視差dmaxを用いて以下の式(4.15)によって正規化．
D∈L(x,y)= DL(x,y) dmax
(4.15) 2. 位置(x,y)のセルの出力Oの値を，視差D∈L(x,y)で初期化．
3. 位置(x,y)のセルに対して，信頼度RL(x,y)（reliableまたはunreliable）を割当．
4. 位置(x,y)のセルがunreliableである場合，そのセルの近傍入力Iiに，位置(x,y)，(x◦ 1,y)，
(x,y◦ 1)のセルの出力Oの値を入力．
5. 位置(x,y)のセルがreliableである場合，そのセルの近傍入力Ii に，位置(x,y)，(x◦ 1,y)，
(x,y◦ 1)のセルのうちreliableであるセルの出力Oの値を入力．
6. 全てのセルの状態遷移を実行．
7. 4，5を遷移回数だけ反復．
8. 各セルの出力Oの値にdmaxを乗じ，出力視差画像として取得．
4.2.3 回路の最適化
左右画像に対して4.2.2節で述べた処理を行い，出力視差と理想視差の誤差が小さくなるように セルの構造をGAによって最適化する．
5 inputs → 3 types of weight 2
3 1
2 3
図4.2:近傍入力Iiの結合荷重
RFCN RFCN
RFCN RFCN
RFCN RFCN
RFCN
RFCN RFCN
Connected Disconnected Reliable
cell
Unreliable cell
図4.3:信頼度に基づくセルの結合関係 遺伝子型
遺伝子型については，3.2.4節と同様である．ただし遷移回数については，表3.1に示すビット 列を既定の遷移回数にマッピングする．具体的には，遷移回数のビット列は3ビットであるため，
各ビット列パターンに対して8種類の遷移回数を既定する．
遺伝操作
遺伝操作については，3.2.4節と同様である．
適応度関数
GAの個体の適応度関数fitnessを以下のように定義する．
fitness=1 2
⎫⎝⎝⎝⎬
⎝⎝⎝⎭1 1 Np
⎞⎟⎟⎟⎟⎟
⎟⎠
Np
p
√do(p) dt(p)√ dmax ×Vmax
w(p) ×λ(p)
⎧ ⎜+ Cth⎩⎝⎝⎝⎪
⎝⎝⎝⎨ (4.16)
ここで，Npは画素数，do(p)とdt(p)はそれぞれ出力視差と理想視差，w(p)とVmaxは重みとそ の最大値で，255（256階調）である．w(p)の値が大きいほどdt(p)に対する適応度が重要視され る．つまり，各理想視差に対する処理の重要度を階調値で表したものである．算出不可能な領域の 理想視差値はゼロと定義し，適応度の計算から除外する．また，係数λを以下のように定義する．
λ=⎫⎝⎝⎬
⎝⎝⎭
1
3, ifdt(p) dmax
2 1, otherwise
(4.17)
この係数は背景の視差に対する適応度の重要度を下げるために用いる．背景に対する視差の精度 よりも，物体に対する視差の精度を重要視するためである．ここで，Cthは誤差がしきい値th（本 論文では1.0）以下である視差の割合である．適応度は[0.0, 1.0]の実数値であり，値が高いほど良 い．学習時には，全ての学習用画像に対するfitnessの平均値を最大にするように世代交代を行う．