提案手法の詳細

本節では，提案手法のアプローチについて記載する．一般的に暗い画像のコントラス トを改善する手法として，カメラのレンズの設定値を調整できる場合，露光時間を長く して明るい画像の撮影が可能である．同様の効果を画像撮影後のソフトウェア上でも可 能であり，撮影した連続フレームを足し合わせることで明るくすることができる．しか し，本研究の対象では，静止状態ではなく，カメラ及び対象物が動く車載環境である為，

撮影した連続フレームを足し合わせるとフレーム間の物体の移動に伴うブレが発生す る．そこで本節では，DeepLearningのConvolutionやPoolingによる位置変化や大きさ変 化への頑健性に着目してネットワーク上で連続フレームの画素値の足し合わせを行う こととした．

提案手法は入力画像として連続するNフレームの夜間画像を入れ，出力画像を1フ レーム作成するConvolutionが5層，Poolingが2層，UpSamplingが2層の計9層のNeural

Networkとなる．Pooling1まで入力画像のNフレームを分けて処理し，Pooling1以降，

Nフレームの値を統合し，ConvolutionとPoolingを繰り返し，特徴量を抽出する．そし て変換画像を作成し，昼間の正解画像と比較して損失関数にて誤差計算を行う．正解画 像は連続する夜間画像の内，最新フレームと対応した昼間画像を準備する．これを実現 する為に本研究では，学習画像にシミュレーション画像を使用する．シミュレーション で同期の取れた昼夜の画像を作成し提案手法に入力，学習を実現する．

又，一般的に暗い画像のコントラストを改善する手法として1フレームだけでなく複 数のフレームを畳み込む手法がある．その為，提案手法でも入力画像に連続する複数フ レームを活用する．

〈2･2〉 複数フレームの統合処理

提案手法では，自車の車速が学習外の画像になっても画像変換できるように連続画像 の計算値を処理の途中で統合する．連続する夜間画像を1層目でConvolutionを行い，2

層目でPoolingを行う．その後，Nフレーム分の畳み込み結果を統合する．ここで自車

の速度の違い(フレーム間の位置の違い)に対応する為に，本手法ではConvolution1の結 果を加算する場所について検討しPooling1に着目した．一般的にPoolingは微小な位置 ずれや大きさの違いに対応することが出来る．その性質を利用して，Convolution1で得 られたNフレームの出力値を2層目のPooling1に入力し，Pooling1で得られたNフレ ーム分の計算値を加算する．その結果，学習で使用したデータの自車速度に依存せず，

速度変化に対してロバスト性を向上させる．式(1)，(2)にConvolution1及びPooling1を 表す式を記し，式(3)にPooling1後のNフレームを統合する計算式を示す．

Oは畳み込みフィルタを通した後の出力データを表し，i, jは入力画像の注目画素を







  



0 1 0

) )(

( ) ( )

(

m

s n

t

t j s i k st k

ij

x

o 

62

表す．m,nは畳み込みフィルタのサイズ，kはフィルタの番号，ωは重み，xはNフレ ームの入力画像の内のある1フレームの夜間画像を表す．

uはPooling1後の出力データを表す．Pijは注目画素を中心にH×Hに取った領域で

ある．p,qはPij内の各画素を表す．Oは式(1)の畳み込み結果を表し，kはフィルタ番号 を示す．

zは統合後の値を示し，fは入力フレーム数を表しており，本手法ではNフレームの 入力があることを示す．i, jはPooling1後の注目画素を表す．

表 5.1 : 直線道路における画像変換ネットワークの構造

layer type Output size

1 Convolution1 256×256×256×3

2 Pooling1 128×128×256×3

3 Convolution2 128×128×128 4 Pooling2 64×64×128 5 Convolution3 64×64×128 6 UpSampling1 128×128×128 7 Convolution4 128×128×256 8 UpSampling2 256×256×256 9 Convolution5 256×256×1







f

k ijf k

ij

u

z

0 ) ( )

(

) max(

)

( k

pq k

ij

o

u  　

j

P

q

p , 

63

図 5.2 : シミュレーションによる昼夜の画像例

昼間画像 夜間画像 (a) シーン1

昼間画像 夜間画像 (b) シーン2

昼間画像 夜間画像 (c) シーン3

昼間画像 夜間画像 (d) シーン4

2020 copyright@siemens 2020 copyright@siemens

2020 copyright@siemens 2020 copyright@siemens

2020 copyright@siemens 2020 copyright@siemens

2020 copyright@siemens 2020 copyright@siemens

64