画像間の対応付けによる夜間画像の幾何・明度補正

全文

(1)情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-CVIM-210 No.6 2018/1/18. 画像間の対応付けによる夜間画像の幾何・明度補正. 野水建吾†1.a. 和田俊和†1.b. 概要：夜間に撮影された画像を，昼間に撮影した画像のように変換することは，画像の視認性を高める有益な処理である．このような手法として，１）画像を明度や色度など複数のレイヤに分解し，背景画像を参照して明度レイヤを強調し，昼間の画像を推定する denighting，２）カラーヒストグラム変換，３）特徴点に基づくカラートランスファー，などがある．１）の手法では昼間と夜の背景画像を求めておく必要があり，監視カメラの向きが風などによって変化することに対応することはできない．２）の手法は画像内の異なる場所の輝度値が昼夜で逆転する場合などには誤った計算が行われる．このため，３）の手法に基づき，昼夜の画像ペアから夜の画像を昼間の画像のように変換する手法を提案する．本研究では，昼夜に撮影された 2 枚の画像間の複数の対応点対から大域的な画素値の変化と幾何学的変化を推定することで，画像の幾何・明度の補正を行う手法を提案する．本手法は，画像間の幾何学的変化の補正も行うため画像間にズレが生じている場合にも適用することが出来る．また，夜間の画像はコントラストが低く，キーポイント検出自体が困難になることが多いが，本手法を繰り返し適用すれば，画像の明度補正によってコントラストが向上し，検出されるキーポイント数も増加し，幾何・明度補正の精度が向上するという相乗効果が期待できる．実験では，ヒストグラム変換との比較を SSIM を用いて行い，本手法の有効性を示す．キーワード：夜間画像の可視性の改善，色変換と幾何学的変換の推定，局所特徴の対応付け. Geometric and brightness correction of nighttime images by matching images KENGO NOMIZU†1.a. TOSHIKAZU WADA†1.b. Abstract: Converting night-time image to day-time image is useful, because it improves the visibility. The possible methods can be classified into three types: 1) enhancing lightness layer by referring day-time and night-time background images, 2) color histogram transformation, and 3) color transfer using corresponding pixels. The method 1) requires background image pairs and assumes rigidly fixed camera. Satisfying these conditions are practically difficult. The method 2) can produce incorrect color transfer when the intensity order at different points in the image flips. Because of these reasons, we propose a method based on the method 3). Our method estimates color transfer matrix as well as homography matrix based on corresponding method. One drawback of this method is that keypoint detection from dark area in the image may fail. This drawback can be relaxed by iterative application of our method, because the image will be brightened by our method and keypoint detection from the brightened image will be successful and the accuracy of color and geometric transformation will be improved. In the experiments, we compared SSIM scores of our method and color histogram transformation and confirmed the effectiveness of our method. Keywords: Visibility improvement of night-time image, Estimation of color and geometry transformation, Local feature correspondence. 1. はじめに. 利用し，生成した昼間と夜間の背景画像を用いて夜間画像を昼間に撮影されたように明度補正を行う手法である．. 近年，カメラの普及により昼夜問わず大量の画像が撮影. しかし Denighting では，背景画像を推定するために大量. されている．しかし夜間の映像においては，画像全体の明. の画像を保持しておく必要がある．移動物体が存在するよ. 度が不足しておりコントラストが低く，画面全体を正しく. うなシーンでは，複数枚の画像からメディアン画像を用意. 理解することは難しい．このような問題を解決するために. する必要があるためである．また，撮影方向のズレなどカ. 提案されたのが，山崎らによる Denighting[1][2]である．こ. メラの外部パラメータの変化が起こった場合，背景画像と. れは固定カメラが終日撮影した大量の同一シーンの画像を. 撮影画像が幾何学的に統合せず，正しく明度補正が行われ. † 1 和歌山大学大学院システム工学研究科 a)[email protected] b)[email protected]. ⓒ 2018 Information Processing Society of Japan. 1.

(2) 情報処理学会研究報告 IPSJ SIG Technical Report ない場合がある．. Vol.2018-CVIM-210 No.6 2018/1/18. 件を満足することは容易ではない．また，画素ごとに計算. 本報告では，大量の画像データを用意することで明度補正を行うのではなく，画像全体は局所照明の領域を除き，照明の変化によってほぼ一様に変化するという仮定を元に，. を行うため，カメラの視点が変わると，処理が正しく行われない．昼夜間の画像 2 枚から明度を補正する手法を行うものと. 昼夜に撮影された 2 枚の画像間の複数の対応点対から大域. して，カラートランスファーという，入力画像を参照画像. 的な画素値の変化と幾何変化を推定することで，画像の幾. のような色に変換する手法などがあげられる．大きく分け. 何・明度の補正を行う手法を提案する．本手法では，2 枚. ると，ヒストグラム基準やキーポイント基準[5]に分けられ. の画像で明度補正を行うので大量の画像データを保持する. る．. 必要が無くなる．また同時に画像間の幾何変化の補正も行. ヒストグラム変換とは，トーンカーブを用いて，入力画. うことで画像間にズレが生じている場合に正しく明度の補. 像のヒストグラムを参照画像のヒストグラムに近づけるよ. 正が行えない問題を改善する．. うに変換することで，色合いを近づける手法である．ヒス. 提案手法では，SIFT[3]や SURF[4]などの画像の局所特徴. トグラム変換は，まずは入力画像と参照画像の累積ヒスト. 量を用いることにより，2 枚の画像間の対応点探索を自動. グラムを作成し，各累積ヒストグラムの最大値が 255 とな. 化している．しかし，夜間の画像は通常コントラストが低. るように正規化を行う．入力画像と参照画像の累積ヒスト. いため，画像の局所特徴量が抽出されるキーポイントの検. グラムが同じ値を持つ画素値をそれぞれ𝑎，𝑏とする．この. 出自体が困難になることが多い．しかし，画像の明度補正. 𝑎を𝑏に変更することで変換が行われる．（図 2）. が行えれば，画像のコントラストが向上し，検出されるキーポイントも増加し，局所特徴量を用いた対応点探索も安定化する可能性もある．. 2. 関連研究夜間画像の視認性の改善手法として，Denighting[1]という手法がある．これは監視カメラなどの固定カメラが終日. 図 2 ヒストグラム変換の方法. 撮影した大量のデータを利用して夜間画像の照度を昼間画. しかし，ヒストグラム変換では，ヒストグラムにする際に. 像の照度に近づけることで補正するというものである．補. 画素の空間情報が失われる．そのため，入力画像と参照画. 正までの流れは，まず入力画像をカラーレイヤ，反射率レ. 像の被写体間で画素値の大小関係が広範囲に入れ替わって. イヤ，照度レイヤに分解する．また，あらかじめ取得して. いた場合，正しく変換が行われない．. おいた昼夜間の背景画像からも同様に照度レイヤを分解し. キーポイント基準の変換は，入力画像と参照画像間で類. ておき，補正前と補正後の照度レイヤの比を背景画像の夜. 似しているテクスチャ領域を対応づけ，その領域の色を近. 間と昼間の照度レイヤの比と等しくすることで補正が行わ. づけるように変換を行う手法である．テクスチャの対応付. れる（図 1）．. けは，パッチごとにディスクリプターを作成し，それらから類似度マップを作成することで達成される（図 3）．. 図 3 キーポイント基準のカラートランスファーのブロックダイヤグラム（[5]より引用の上改変）図 1 Denighting[1][2]のブロックダイヤグラム（[2]より引用の上改変）. しかし，この手法は入力画像と参照画像のテクスチャが異なる場合を想定しているため，処理が複雑である，. このような手法では，各時間の背景画像が必要となる．しかし，背景画像は複数の画像から中間値をとることで得られるため，大量の画像を保持しておく必要があり，この条. ⓒ 2018 Information Processing Society of Japan. 2.

(3) 情報処理学会研究報告 IPSJ SIG Technical Report. 3. 画像間の対応付けによる幾何・明度補正本報告では，同一シーン昼夜間の 2 枚の画像から明度補正を行う．また，同時に幾何学的変化の補正も行うことで，僅かなカメラの視点変化が起こった場合でも明度補正が行えるようにする．明度の補正は，2 枚の画像全体の画素ごとの対応から，各画素の色変化を表す線形的なモデルを推. Vol.2018-CVIM-210 No.6 2018/1/18. 𝑚11 𝑀𝒄 = (𝑚21 𝑚31. は式(2)となる． 𝒄′. 1. SIFT によるキーポイントの検出を行い，画像の. を行う． 2. 色変換に用いる画素を層化サンプリングによっ. がある．以降にそれぞれの手順についての詳しい内容を記す． 3.1 幾何学的変化の補正. (2). 𝒄の変数は 3 つなので行列の推定には最低 4 組の画素値が必要である．n 組の画素値によって変換前の画素と変換後の画素は以下の式のように拡張され， 𝑟1′ 𝐶 ′ ≡ (𝑔1′ 𝑏1′. 𝑟2′ 𝑔2′ 𝑏2′. 𝑟1 𝑔1 𝐶≡( 𝑏1 1 式(2)は式(3)を用いて. 𝑟2 𝑔2 𝑏2 1. また，夜間画像は昼間画像に比べてコントラストが低くは上記の処理を繰り返すことでより正しく補正できる場合. 𝑟′ = (𝑔′ ) = 𝑀𝒄 𝑏′. 変換行列𝑀は𝑚11 ~𝑚33 とオフセットの 12 自由度であり、. て決定し，画像間の色の変化の推定を行う．画像間のズレが正しく補正されない場合がある．その場合. (1). 目および𝒄の 4 行目はオフセットである．変換後の画素値𝒄′. れる．以下が推定の手順である．. 何学的な変化を補正することで，画素ごとの対応付け. 𝑟 𝑟𝑏 𝑔 𝑔𝑏 ) ( ) 𝑏 𝑏𝑏 1. 𝑚13 𝑚23 𝑚33. このとき，𝑀の𝑚11 ~𝑚33 は色の変化を表す係数であり，4 列. 定することで行う．提案手法は大きく二つの手順に分けら. 局所的な対応付けを行う．その対応付けから全体の幾. 𝑚12 𝑚22 𝑚32. 画像の幾何学的な変化の推定には，ホモグラフィを用い. …. …. 𝑟𝑛′ 𝑔𝑛′ ) 𝑏𝑛′ 𝑟𝑛 𝑔𝑛 ) 𝑏𝑛 1. 𝐶 ′ = 𝑀𝐶. (3). (4). る．ホモグラフィとは，透視投影の際，被写体がある平面に存在しているという仮定のもとで，その平面内での座標を投影面に透視投影を行う行列である．入力画像のホモグ. と表される．式(4)から，疑似逆行列を用いることで最小二乗法的に変換行列𝑀を求めることができる．. ラフィ行列から参照画像のホモグラフィ行列へ変換する行. 𝑀 = 𝐶 ′ 𝐶 𝑡 (𝐶𝐶 𝑡 )−1. (5). 列を推定することで，画像間の幾何学的な変化の補正を行う．実際の画像では，被写体が 1 つの平面に存在することは少ないが，カメラから十分な距離がある場合，カメラの変動による距離ごとの物体の変化量の差は小さくなり，平面とみなせるため，ホモグラフィによって計算が可能である．また，ホモグラフィ行列の推定には，変換前後の対応点対が最低 4 組必要であるが，その対応点対には SIFT を用いる．また，SIFT によって検出された対応点対全てからホモグラフィを計算した場合，外れ値の影響を大きく受ける場合があるため，RANSAC[6]を用いてホモグラフィの計算を行う． 3.2 色の変化の推定本節では色の変化の推定方法について記す．照明が変化したときの色の変化は画像全体で一様に起こる．その際の線形な色の変化を，最小二乗法を用いて推定する．本研究では色の変換は RGB 色空間で行う．色の変換は行列計算によって表すことができる．画像間の色の変化は変換前の画素値を𝒄，色の変換を表す行列を𝑀と置くと，変換後の画素値は式(1)で表される．. また，変換行列𝑀を求める際，3.1 節で得られた画素ごとの対応づけから計算される．しかし，対応づいた画素値全ての組から計算を行った場合，外れ値の影響を大きく受けてしまうため，3.1 節同様 RANSAC[6]を用いることでその影響を減らす．また，全画素の組から RANSAC によって変換行列を求めた場合，実行時間が膨大になってしまう．そのため参照画像の画素をクラスタリングし，層化サンプリングを行うことで，実行時間の削減を行う．クラスタリングには，画素値は最適なクラスタ数が画像ごとに異なるため，クラスタ数に制約のない単純クラスタリングを用いる． 3.3 再帰的分割による局所境域ごとの色変換 3.2 節で述べた手法で，は画像全体を同一の変換行列によって変換する．しかし，3.2 節の手法では色の種類が多い場合，色合いが変わってしまう場合がある．そのような問題を解決するために，本手法の拡張として，画像を局所領域に分割し，各領域に対して色変換を行う手法を提案する．この分割では，画像を再帰的に 4 分割する．ただし，局所領域の大きさが一定以下になるか，画素値のクラスタ数が閾値以下になると，分割を停止する．得られた局所領域ごとに色変換が行われるが，変換の差異によって領域ごとのブロックノイズが生じてしまう．そ. ⓒ 2018 Information Processing Society of Japan. 3.

(4) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-CVIM-210 No.6 2018/1/18. 図 4 実験に用いた画像．上段は原画像であり，下段は参照画像である．のような問題を解決するため，本研究では局所領域が重な. を行っているヒストグラム変換を用いる．. るように分割し，重なった領域に対して，アルファブレン. 4.1 幾何・明度補正の実験. ドを用いることでブロックノイズを軽減する．まず，画像. 図 5 は，3.4 節で述べたように，コントラスト不足によ. を分割する際に所領域が重なるように分割する．その重な. り変換前の対応付けが少なく，ホモグラフィ行列が正しく. っている領域にα値を持たせておき，画像を重ねた際の境. 求められない場合である．図 5 の（d）を見ると，参照画像. 界を目立たなくすることで，ブロックノイズの発生を抑え. にくらべてビルが傾いていることがわかる．これは SIFT に. る．. よる対応付けが，画面の上半分では十分に得られず，ホモグラフィ行列の推定は画像の下側だけで行われ，上側が軽. 3.4 提案手法の反復処理による精度向上. 視されることが原因である．このような場合でも，ホモグ. 3.1 節で述べた幾何補正の際，対象の画像全体が暗くコン. ラフィ変換が大きく異なっていなければ色変換は行われ，. トラストが低い場合に，キーポイントが十分に検出されず. 画像全体のコントラストが向上するため，提案手法を反復. にホモグラフィ行列が正しく推定されない場合がある．そ. させることで問題を改善できる場合がある．. の場合，本章で説明した提案手法を再び当てはめることで改善される場合がある．夜間画像の明度が補正されることによって画像全体のコントラストが向上し，改善前では検出されなかったキーポイントが増えるためである．. 4. 実験本研究の妥当性を確認するために，定性的評価および定量的評価を行い，他手法との比較を行う．実験には，図 5 の画像を用い，原画像を参照画像に近づけるように変換を行う．図 5 の(a)，(b)は，2 枚の画像間で実際にカメラのズレが発生している画像である．また，図 4 のうち，（a）か. 図 5 （a）原画像，（b）参照画像，（c）画像全体を. ら（d）は HDR のデータセット[7]であり，（e）から（j）は. 一括で変換したもの，（d）参照画像と（c）との差. 固定カメラによって撮影された画像[8]である．HDR のデ. 分図 6 の（a）が図 5 の（c）を入力画像として再度提案. ータセットのものは，画像全体の明度のみが変化しており，. 手法を適応したものである．差分画像を見ると，図 5 の. 照明や遮蔽物の有無などによる画素値の変化は殆ど起こっ. （c）に比べてビルの傾きが改善されたことが分かる．. ていない．それに対して固定カメラのデータは照明などの. また図 7 は実際に検出された対応点をプロットしたも. 影響での画素値の変化が大きい画像となっている．また，. のである．ビルの対応点だけでなく画像全体の対応点の組. 比較対象として，提案手法と同様に，2 枚の画像から変換. 数が増加していることが確認できる．. ⓒ 2018 Information Processing Society of Japan. 4.

(5) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-CVIM-210 No.6 2018/1/18. これは，ヒストグラム変換は，2 章で述べたように，画素の位置関係を考慮していないため，このような変換が行われた．また定性的評価として SSIM[9]での比較を行う．SSIM とは，画像の品質評価のひとつである．スコアが 1 に近づく図 6 （a）反復処理による生成画像，（b）参照と（a）との差分画像. につれ高品質となる．表がそれぞれの SSIM のスコアである．この結果より，多くの場面で提案手法ヒストグラム変換に対してより参照画像へ近づくような変換が行えることが確認できた．. 左：処理前の画像，右：参照画像. 左：処理後の画像，右：参照画像図 7 対応点の増加このように，幾何・明度補正を提案手法によって補正できることが確認できた．また，反復処理によって提案手法の精度が向上することが確認できた．. 図 8（a）原画像，（b）参照画像，（c）提案手法，（d）ヒストグラム変換. 4.2 色補正の比較実験 4.1 節では幾何補正が行われていることが確認できた．本. あ. 節では明度補正が行われているかを，実験を通して確認する．図 8，図 9 は HDR の画像を，それぞれの手法によって変換を行った結果である．これらより，全体が一律に明度が変わった画像においては，どちらの手法においても大きな違いは見られなかった．しかし，提案手法においては，色合いが変わり，少し赤みがかった色になってしまう場合が確認された．また図 8 から図 12 は，照明の変化やオクルージョンが発生している画像を，各手法によって変換したものである．これらより，本報告は図 10 のように車などの，画像全体に対して小さいオクルージョンに対しては影響を受けづらいが，図 12 のように照明などの画像全体に対する影響が大きなものは変換しづらいことが確認された．また図 11 の空と町のように，明暗の関係が大きく逆転している領域では，ヒストグラム変換では正しく変換が行われていない. 図 9（a）原画像，（b）参照画像，（c）提案手法，（d）ヒストグラム変換. のに対し，本手法ではある程度変換が正しく行われている．図 8. 図 9. 提案手法. 0.820816. 0.71598. ヒストグラム. 0.716318. 0.715721. ．図 10. 図 11. 図 12. 0.574949. 0.62373. 0.490671. 0.598956. 0.612022. 0.239168. 表 1 SSIM のスコア. ⓒ 2018 Information Processing Society of Japan. 5.

(6) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-CVIM-210 No.6 2018/1/18. しかし，図 9 の（c）において，赤みがかっている領域があったにも関わらず，SSIM のスコアがヒストグラム変換より勝っている．これは，それぞれの変換の特性と SSIM の評価基準によるものだと思われる．ヒストグラム変換は，変換の特性として 0 要素の多いヒストグラムが生成される．それに対して提案手法は，そのような要素が少なくなっている．それにより SSIM の評価項目であるコントラストや構造の類似度が下がったため，色合いが違うにも関わらず提案手法が SSIM のスコアは勝ったと考えられる．. 図 12（a）原画像，（b）参照画像，（c）提案手法，（d）ヒストグラム変換 4.3 再帰的分割の実験前節で述べた，提案手法の応用手法である再帰的分割についての結果を述べる．局所領域への分割は，オクルージョンの領域が大きい場合，補正結果にノイズが発生してし. 図 10（a）原画像，（b）参照画像，（c）提案手法，（d）ヒストグラム変換図 13 （a）図 8 を分割して変換したもの，（b）図 9 を分割して変換したものまうため，そのような領域の少ない HDR の画像についてのみ変換する．実際に提案手法によって変換を行ったものは図 13 であり，また，その際の SSIM の値は表 2 SSIM のスコアとなっている．画像全体に同じ変換をかけたものと比べると，両画像ともより参照画像へ近づくような変換が出来た．また，図 9 の（c）は色合いが変わってしまっていたが，図 13 の（b）は色合いがより近くなっていることが確認できた．. 図 11（a）原画像，（b）参照画像，（c）提案手法，. 再帰的分割. （d）ヒストグラム変換. 図3. 図4. 0.865353. ０.723238. 表 2 SSIM のスコア. 5. まとめ本稿では，画像を複数のレイヤに分離するなどの複雑な処理を行うことなく，画像全体から色の推移を表す行列を求め，同時に幾何学的な変化も求めることで，画像の幾何・明度を補正する手法を提案した．また，提案手法の応用例. ⓒ 2018 Information Processing Society of Japan. 6.

(7) 情報処理学会研究報告 IPSJ SIG Technical Report. Vol.2018-CVIM-210 No.6 2018/1/18. として，画像の局所領域ごとに色変換を行う手法も提案した．結果は，幾何・明度が同時に補正でき，反復処理によってさらに精度が向上する場面も確認できた．明度補正を他手法と比較しても，全体が一様に変化している画像では，十分な精度で明度の補正が行えていることが確認出来た．また，照明などの影響で画像全体での画素値の変化が一様でない場合でも，その変化の領域が大きすぎなければ補正がある程度正しく行え，画像内で明暗の逆転が起こっている場面では既存手法より正しい変換が行えていることがわかった．同時に，画像全体での変換では誤差が発生してしまった領域に関しても，局所領域に区切り変換することで，より色合いの近い画像が生成され，が向上した．今後は，現手法では変換の精度が最も低下した照明などによる画素値の変化に対して，照明の影響を減らすなどの対策などが考えられる．. 参考文献 [1]. [2]. [3]. [4]. [5] [6]. [7] [8] [9]. 山崎彬人, 金出武雄, 大城英裕, 金子俊一,“昼間照度を用いた監視カメラのための夜間画像改善,” 精密工学会学術講演会講演論文集 2007 年度精密工学会秋季大会. 公益社団法人精密工学会, 2007. 山崎彬人, 金出武雄, 高氏秀則, “Denight:昼間画像を用いた夜間画像の改善”, 電気学会論文誌. C, 電子・情報・システム部門誌, Vol. 129, No. 12, pp. 2222-2231, 2009 David G. Lowe, "Object recognition from local scale-invariant features," in Computer vision, 1999. The proceedings of the seventh IEEE international conference on, 1999. Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 200 Arbelot, Benoit, et al. "Automatic texture guided color transfer and colorization." Expressive 2016. Eurographics Association, 2016. Fischler, Martin A., and Robert C. Bolles. "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography." Communications of the ACM 24.6 (1981): 381-395. “Robust Patch-Based HDR Reconstruction of Dynamic Scenes“，（http://cvc.ucsb.edu/graphics/Papers/Sen2012_PatchHDR/） ”Evaluating Local Features for Day-Night Matching”, （http://www.umiacs.umd.edu/~hzhou/dnim.html） Wang, Zhou, et al. "Image quality assessment: from error visibility to structural similarity." IEEE transactions on image processing 13.4 (2004): 600-612.. ⓒ 2018 Information Processing Society of Japan. 7.

(8)