4章で提案した輝度勾配方向ヒストグラムのエントロピーを利用した歪パラメー タの推定手法が実際の放射歪を含むカメラにおいて適切な推定能力を有すること が5章の実験により確認された．しかしながら5.1節，5.2節の実験において，歪 パラメータの推定に要した時間を見ると画像の解像度にもよるが，画像1枚あた りにつき200秒前後であり，使用する画像の枚数が数百枚であることを考慮に入 れると速度の面に関しては不十分であることが伺える．そこで，本章では歪パラ メータの次元数の削減，輝度勾配方向ヒストグラム作成方法の工夫という2つの 側面から計算コストの削減を図る．まず，歪パラメータの数を減らすことによっ て歪補正を行う際にどの程度影響が現れるのかを考察し，歪パラメータの次元数 の削減の正当性を示す．次に，輝度勾配方向ヒストグラム作成する際にヤコビ行 列を用いて歪画像から直接輝度勾配を計算する方法を示す．最後に本章で提案し た高速化手法を導入した歪パラメータの推定を様々な種類のドライブレコーダで 撮影した画像に対して行い，本手法が実用において十分な精度を維持したまま高 速に歪パラメータの推定を実行できる事を示す．
6.1 歪パラメータの次元数の削減
本論文ではこれまで放射歪のモデルを式(2.6)のように，歪パラメータκの次元 数を2として設定してきたが，本章では次元数を削減し1として放射歪のモデル を再設定する．したがって，本章で扱う放射歪のモデルは式(6.1)に示すとおりで ある．
x′ = (1 +κ1r2)x
y′ = (1 +κ1r2)y (6.1)
本論文が提案する歪パラメータの推定方法では，放射歪を適当な歪パラメータ κで補正→画像全体の輝度勾配方向ヒストグラムを作成→エントロピーを計算，
という手順 (図 4.7)を全ての歪パラメータκi の組み合わせで繰り返し計算し歪 パラメータの推定を行っている．歪パラメータκの数が多ければ多いほどその組 み合わせの数が膨大になり繰り返し計算の回数が増加することは明らかである．
例えば，前章までの歪パラメータの推定実験では歪パラメータ(κ1, κ2)の探索範
囲をκ1 : 10−8 ∼ 10−2, κ2 : 10−14 ∼ 10−6 として設定し，歪パラメータをκ1 = 1.0×10−8,2.0×10−8,3.0×10−8, ...,1.0×10−7, ...,9.0×10−3，κ2 = 1.0×10−14,2.0× 10−14,3.0×10−14, ...,1.0×10−13, ...,9.0×10−7のように変化させているため，歪 パラメータ(κ1, κ2)の組み合わせは3888通りにも及ぶ．すなわち画像1枚に対し て3888回も上記の推定手順を繰り返し計算している事になる．これに対して，式
(6.1)のように歪パラメータκの次元数を1とすると歪パラメータ推定における繰
り返し計算の回数は54回(κ1の探索範囲はこれまでと同じ範囲とする)となり，単 純に考えて計算時間は72倍程度早くなることが期待される．
しかし，歪パラメータの次元数を削減するという事は歪の補正が厳密に行えな くなるという事であり安直に行うことはできない．そこで，まず実際のドライブ レコーダを用いて，κ1のみで画像を補正した場合とκ1, κ2の両方用いて補正した 場合でどの程度の差が現れるのか確認を行った．使用したドライブレコーダの歪 パラメータは不明であるため，チェッカーボード画像を撮影し以下の様な手順で歪 パラメータの推定を行った．以下の手順ではチェッカーボードの交点は画像に歪が 発生していない状態において，それぞれの行および列において同一直線上に位置 する事を利用している．なお，ここでは2種類のドライブレコーダを用いている が，カメラの種類，撮影条件等については表6.1に示す．
表 6.1: 実験に使用したカメラ camera A camera B 型番 D6048HDL DRY-mini1
メーカー Thanko Yupiteru
解像度 640×480 640×480 画素数 200万画素 100万画素
1. チェッカーボード画像に対しコーナー検出を行い，チェッカーボードの交点座 標を求める(図6.1)．ここではコーナー検出には画像処理ライブラリOpenCV に実装されているfindChessboardCorners関数およびcornerSubPix関数を用 いた．
2. 適当なκ1(, κ2)で歪補正を行った時の交点の座標を式(2.6)により求める．
3. チェッカーボードのそれぞれの行・列の端点を通る直線を計算により求める (図6.1)．
4. 同じ行・列に属する端点以外の点と直線との距離を計算により求める．
5. (2)〜(4)を歪パラメータを変化させながら繰り返し計算を行い，(4)で求め
たそれぞれの行・列の各点と直線との距離の平均値が最小となる歪パラメー タを求める．歪パラメータは4.3節と同様に変化させる．
6.1. 歪パラメータの次元数の削減 57
図 6.1: チェッカーボードの交点を検出した例(左：交点，右：端点を通る直線)
厳密に歪補正が行えていればそれぞれの行・列における各点と直線の距離の平 均値は0に極めて近くなると考えられる．したがって，設定した歪モデルによっ て歪補正が厳密に行えているかどうかは，上記手順(4)のそれぞれの行・列の各 点と直線の距離の平均値で評価が行える．実際に歪パラメータがκ1のみの場合と κ1, κ2の場合とで上記手順に従い，歪パラメータの推定を行い比較を行った．それ ぞれの場合における歪パラメータの推定結果，距離の平均値をまとめたものが表 6.2，得られた歪パラメータでチェッカーボード画像を補正した結果が図6.2,6.3で ある．表から確認できる通り距離の平均値は歪パラメータの次元数が2の場合と 1の場合でカメラA，カメラBともにその差は0.1画素以下であり，歪パラメータ の次元数が1の場合においても次元数が2の場合と同等の歪補正が可能であるこ とが分かる．
表 6.2: チェッカーボードを利用した歪パラメータの推定結果
camera 距離の平均値 κ1 κ2
A(κ1 and κ2) 1.676pixels 8.57×10−7 1.66×10−11 A(κ1 only) 1.766pixels 1.92×10−6 -B(κ1 and κ2) 2.030pixel 2.07×10−6 4.44×10−12
B(κ1 only) 2.032pixel 2.35×10−6
-図 6.2: カメラAで撮影したチェッカーボードの歪補正結果(左：撮影画像，中央：
(κ1, κ2)で補正，右：κ1のみで補正)
図 6.3: カメラBで撮影したチェッカーボードの歪補正結果(左：撮影画像，中央：
(κ1, κ2)で補正，右：κ1のみで補正)
6.2. ヤコビ行列を用いた輝度勾配方向ヒストグラムの作成 59
6.2 ヤコビ行列を用いた輝度勾配方向ヒストグラムの 作成
本節では4.3節で述べた歪パラメータを探索する際の輝度勾配方向ヒストグラム の作成方法に工夫をし高速化を図る手法について説明する．4.3節における歪パラ メータの探索では適当な歪パラメータで画像を補正した後に式(4.1)，(4.3)に従い 補正画像全体の輝度勾配強度，輝度勾配方向の計算を行い，式(4.7)を用いて輝度 勾配方向ヒストグラムの作成をしてきたが，歪画像を補正する際の計算コストが 高く，歪パラメータ探索の速度低下につながっている．そこで，歪パラメータを 変化させるたびに歪画像を補正し輝度勾配方向ヒストグラムを作成するのではな く，歪画像から直接輝度勾配方向ヒストグラムを作成する方法を提案する．ここ で，歪画像の輝度勾配を(∂I∂x，∂I
∂y)，補正画像の輝度勾配を(∂I∂x′′，∂I′
∂y′)とすると補正画 像の輝度勾配はヤコビ行列を用いて式(6.2)のように表すことができる．
( ∂I′
∂x′
∂I′
∂y′
)
= ( ∂x′
∂x
∂x′
∂y
∂y′
∂x
∂y′
∂y
)−1(
∂I
∂x
∂I
∂y
)
(6.2) ここで，式(6.2)で用いられているヤコビ行列の各成分は(x′, y′)が式(6.1)のよ うに表されるため，式(6.3)のように展開される．
∂x′
∂x = 1 +κ1(3x2+y2)
∂y′
∂y = 1 +κ1(x2+ 3y2)
∂x′
∂y = ∂y′
∂x = 2κ1xy (6.3)
ヤコビ行列の各成分は歪パラメータおよび歪画像上の座標(x, y)を代入するこ とで容易に求めることができるため，歪画像の輝度勾配から補正画像の輝度勾配 を表すことが可能となる．このようにして求めた輝度勾配より輝度勾配強度・方 向を計算しヒストグラムを作成することで，歪パラメータを変化させるたびに画 像を補正する必要がなくなり高速な処理が可能となる．
以上で述べた輝度勾配方向ヒストグラム作成の高速化を踏まえた歪パラメータ の推定手順は以下のとおりである．
1. 歪画像の輝度勾配(∂x∂I，∂I
∂y)を式(4.1)により求める．輝度勾配強度が設定した
閾値よりも高い画素のみ以下の処理を行うものとする．なお本処理に入力さ れる画像は8ビットグレースケール画像とし，輝度勾配強度の閾値は50と して設定した．
2. 適当な歪パラメータκ1を与え補正画像の輝度勾配(∂x∂I′′，∂I′
∂y′)を式(6.2)により 求める．
3. 式(4.7)に従い輝度勾配方向ヒストグラムを作成し，そのエントロピーを式
(4.8)により計算する．
4. (2)〜(3)の処理を歪パラメータκ1を変化させながら繰り返し計算し，輝度勾
配方向ヒストグラムのエントロピーが最小となるκ1を求める．なお，κ1の 範囲，および変化のさせ方は4.3節で設定したものと同様とする．
これらの処理を数百枚の画像に対し適用し各画像に対して推定されたκ1のヒス トグラムを作成する．最終的にκ1のヒストグラムの最頻値を求め，撮影に用いた カメラの放射歪のパラメータとして決定する．
次節では新しく提案した高速化処理を用いた歪パラメータ探索実験について述 べる．
6.3 ドライブレコーダ画像を用いた歪パラメータの推定
まず，歪パラメータの推定実験に使用したデータセットについて述べる．前章 において実際の放射歪を含むカメラを用いて歪パラメータの推定実験を行い提案 手法によって歪パラメータが自動的に推定されることを確認したが，推定実験は 1種類のカメラのみを用いており，提案手法が様々なカメラにおいて有効であるこ とは示せていない．そこで，ここでは実際に販売されている様々な種類のドライ ブレコーダで撮影された自動車を運転中の風景画像を用いてそれぞれのカメラの 歪パラメータの推定を行い，本手法が様々なカメラに対して十分な歪パラメータ 推定能力を有することを示す．実験には6種類のカメラから得られた画像を用い ており，それぞれのデータセットの詳細は表6.3に示す．ここで，表中のA，Bの データセットについては本研究室で撮影されたものであるが，C〜Gについては動 画投稿サイト「Youtube」に投稿されているドライブレコーダの動画を利用した．
いずれのデータセットも動画から1秒間隔で画像を切り出している．なお，ドラ イブレコーダで撮影された画像の下端には日付が表示されてしまう場合があるた め，ここでは画像の下端50画素は使用しないものとする．
これらのデータセットに対し，6.1節，6.2節で提案した2種類の高速化手法を 適用した歪パラメータの推定を行い，高速化を行わない場合，歪パラメータの次 元数削減のみを適用した場合に要する推定時間との比較を行う．また実際に得ら れた歪パラメータで画像の補正を行い，適切な歪パラメータが得られていること を確認する．なお，提案する歪パラメータの探索ではまずはじめに粗い探索を行 い大まかな歪パラメータの値を推定し，その後得られた値付近で有効数字を一桁 増やし詳細な探索を行っている．ここで扱う推定時間については粗い探索の時の 1枚あたりの平均時間とする．粗い探索と詳細な探索，2つのフェーズにおいて使 用する歪パラメータの推定アルゴリズムは変わらないため，粗い探索の時の推定 時間のみを対象としても比較に影響は与えないと考えられる．