環境構造を利用したカメラ放射歪の自動補正技術の研究

(1)

平成 27 年度

群馬大学大学院理工学府電子情報数理領域博士論文

環境構造を利用したカメラ放射歪の自動補正技術の研究

学籍番号： 13802402 鹿貫悠多

指導教員 : 太田直哉教授

(2)

概要

本論文では，環境構造を利用したカメラの放射歪を完全自動で補正する手法を提案する．一般に，放射歪を補正するには特殊なキャリブレーションパターンを撮影し，その画像上のパターンが正しい形状になるように歪パラメータの計算を行い補正をするが，環境に特徴的な構造が存在する場合，それが正しくなるように補正することで，実環境を撮影した画像においても放射歪の歪パラメータの推定が可能であると考えられる．

本論文の提案する手法では環境に多く存在する直線で構成された構造物を利用する．放射歪では3次元空間における直線が画像上では曲線として撮影されるため，放射歪が適切に取り除かれた画像には最も多く直線が含まれると考えられる．

画像に含まれる直線の多さを評価するために提案手法では画像全体の輝度勾配方向ヒストグラムのエントロピーを利用している．直線が多く含まれる補正画像では輝度勾配方向ヒストグラムに明瞭なピークが現れ，曲線が多く含まれる歪画像に比べヒストグラムのエントロピーが小さくなる．提案手法では画像の画素ごとに計算ができる輝度勾配を利用して画像全体の勾配方向ヒストグラムを作成しているため，画像からハフ変換などにより直線抽出を行う他の手法と比べ，複雑な画像に対しても適切な歪パラメータの推定を行うことが可能である．また，放射歪に影響されない画像中心に向かう方向のエッジの除去や，特定の勾配方向を持つエッジ成分に重み付けを行い歪パラメータ推定の性能向上を図っている．さらに，

複数枚の画像に対して歪パラメータの推定を行い，それらの結果から統計的に歪パラメータの決定を行っているため例外的な画像の入力に対しても堅牢で，安定した歪パラメータの推定が可能となっている．

カメラが直線で構成される構造物が多い環境で利用され，かつ完全自動で放射歪を補正することが望まれる典型的な用途としてドライブレコーダなどの車載カメラが例として挙げられる．提案する歪補正アルゴリズム自体はこの用途に限られるわけではないが，本論文ではドライブレコーダで撮影した画像を用いて提案手法の性能の評価試験を行った．本論文では2種類のシミュレーション画像，6種類のドライブレコーダから得られた画像に対して提案手法を適用して歪補正を行い，全ての画像において適切に歪が取り除かれていることを確認した．また，カメラの設置条件による提案手法の性能評価を行い，実環境で用いる際にどの程度までカメラに俯角を付けることができるのか明確にした．さらに，提案手法の高速化を行い実用上十分な補正精度を保ったまま高速に歪パラメータの推定を行えることを実証した．

(3)

ii

第 1 ^{章序論}

ロボットのナビゲーションシステムや自動車の自動ブレーキシステム，防犯カメラなど様々な分野においてカメラを用いた研究開発が進められている．

例えばロボットのナビゲーションシステムにおいては，警備巡回監視ロボット [52]や館内案内ロボット[53]などの目的で移動ロボットが自律的に移動するためにカメラを用いている研究が数多く報告されている[54, 55, 56]．車輪型移動ロボットの場合，モータに取り付けられたエンコーダや慣性計測装置(IMU)などの内界センサによりロボットの位置情報を推定するが，誤差の累積などにより長い距離を走行した場合に正確な位置情報を測定することは困難である．そこで，GPSやレーザレンジファインダ，カメラなどの外界センサを用いて得られた情報を解析し位置情報の補正を行うことが一般的に行われている．カメラを用いて位置情報の補正を行う手法は大きく分けて2種類存在する．ロボットの持つデータベースから現在見えている風景に最も近い見え方の画像を画像照合により探し出し位置情報の補正を行うAppearance-baseの手法[55]，微小時間ごとのカメラ画像を解析しロボットの移動距離を計算し位置情報を算出するVisual-odometry[56]と呼ばれる手法が提案されている．いずれの場合もロボットに取り付けられるカメラには広い視野を確保する目的で広角レンズが取り付けられる事が多い．

一般的にカメラで画像を撮影する際にはレンズを取り付けて撮影するが，レンズを通して得られた画像には放射歪と呼ばれる歪が発生する．特に，広い視野を得られる広角レンズを用いた場合，画像の端の方に大きな歪が発生する．先に述べたカメラを用いたロボットの自己位置推定などではカメラモデルとして「ピンホールカメラモデル」が利用される事が多いが，画像に歪が発生している状態では「放射歪を含むピンホールカメラモデル」として扱わなければならない．通常のピンホールカメラモデルではカメラの内部パラメータとして焦点距離と光軸点を求めれば，3次元空間上の物体の位置とカメラの投影面上での位置の対応が求まるが，放射歪を含むピンホールカメラモデルではこれらのパラメータに加え，歪の大きさを表す「歪パラメータ」を求める必要がある．

歪パラメータを求める手法としては3次元空間上での位置情報が既知である特徴点が含まれる専用のキャリブレーションパターンを撮影し，画像上でそれらの特徴点の3次元的な位置関係が復元されるような変形を求める方法[10]〜[22]がしばしば用いられる．このような方法で歪を取り除く例として[13]の手法が有名である．これはItseez社がメンテナンスを行っているオープンソースの画像処理ライブラリOpenCV(Open Source Computer Vision Library)[59]に実装されている

(6)

図 1.1: チェッカーボード画像の例

calibrateCamera関数で利用可能で異なる視点から撮影された一定間隔に格子模様

が配置されたチェッカーボード画像を複数枚(3枚以上)用いることにより歪パラメータを求めることができる(図1.1)．

また，専用のキャリブレーションパターンを使用する手法では歪パラメータと同時にカメラの内部パラメータと外部パラメータを求めるのが一般的である．カメラの内部パラメータはカメラの焦点距離や光軸点，外部パラメータには3次元空間におけるレンズの光軸方向とレンズの中心座標が含まれる．これらのパラメータは2次元の平面画像から3次元的な情報を復元する際に利用され，先に例として挙げた，カメラ画像からロボットの移動距離を算出するVisual-odometryなどにおいては重要なパラメータとなる．

しかしながら，専用のキャリブレーションパターンを用いて歪パラメータを推定する場合，パターンの撮影の仕方などによっても結果が大きく左右されてしまうため，ある程度の撮影技術が必要となってくる．また，複数視点から画像を撮影しなければならず作業が煩雑である．専用のキャリブレーションパターンを用いて歪パラメータを推定することが困難な例として車載カメラがあげられる．車載カメラとはドライブレコーダやバックモニタなど自動車の運転を支援するシステムで，近年，カメラの低価格化に伴いこれらの装置を搭載した自動車が多く見られるようになった(図1.2(左))．

車載カメラも広い視野を必要とするため広角レンズが使われることが多く，得られる画像には大きな歪が発生する(図1.2(右))．画像をドライバに提示する際には歪の取り除かれた画像を提示する事が望ましく，何らかの方法により歪パラメータを求め歪を補正する必要がある．車載カメラにおいてはカメラとそれをドライバに提示するシステムが別々に販売されている事が多いため，専用のキャリブレーションパターンを用いた手法で歪パラメータを求めようとすると，ユーザがパターンの撮影を行わなければならず現実的ではない．そのため，専用のキャリブレーションパターンを使用せず自動車で走行中の風景画像から自動的に歪パラメータを推定する手法が求められる．そこで，本論文ではキャリブレーションパターンの代わりに環境に存在する特徴的な構造を利用し歪パラメータの推定を行う手法を提案する．

ここで提案する手法では3次元空間において直線で構成される構造物を多く含

(7)

3

図 1.2: 車載カメラ(ドライブレコーダ)および得られる画像の例

む画像を利用する．放射歪は直線を曲線として撮影するため，もし適切な歪パラメータで画像が補正されたとすると，その画像には歪画像に比べ多くの直線が含まれるであろうというのが基本的な考え方である．これには直線の多さを数値的に評価する必要があるが，本手法では画像全体で輝度勾配の方向のヒストグラムを作成し，そのエントロピーの値をその評価値として用いる．また画像中心から周囲に向かって放射状に伸びる直線は放射歪に関与しないので，これを考慮から除くことや，自動車から撮影される画像に含まれる直線には水平および垂直方向のものが多いので，これらに関して重みをつけるなどの工夫を行っている．

本論文の提案手法と同様にキャリブレーションパターンを用いない手法として

[23]〜[39]など様々な手法が存在する．例えば，[35]の手法は適切に補正された画

像では，風景中の直線が正しく直線として写ることを利用しており，原理的には本研究の目的に利用できる．しかしこれらの手法では直線の検出にエッジ検出とハフ変換を用いており，対象とする画像が単純な場合にしか利用できない．これに対し本論文の提案する手法では画素値から直接勾配方向ヒストグラムを作成しそのエントロピーを計算し歪の大きさを評価することで一般的な画像に対しても応用可能となっている．さらに複数枚の画像から得られる歪パラメータに対し投票処理を行い統計的に歪パラメータの推定を行っている．そのため提案手法の前提が満たされないような画像が入力されても影響を受けることなく完全に自動的に歪パラメータの推定が可能となっている．

論文ではまず，2章でカメラで撮影した画像に放射歪が発生する理由について述べた後，一般的な歪のモデルについて扱い，その後，本論文で対象とする歪モデルの定義を行い，画像の歪補正を行うための基本的な方法について述べる．

3章ではこれまでに行われてきた歪補正の研究について述べる．前に述べたように歪補正は大きく分けて，それ専用のキャリブレーションパターンを用いる手法と用いない手法の2種類に分類される．最初にキャリブレーションパターンを用いる手法について説明し，その後本論文と同様に環境構造物を利用した特殊なキャ

(8)

リブレーションパターンを用いない手法について説明する．これらの手法の欠点，

特にドライブレコーダーなどの車載カメラのレンズ歪を補正する際に発生する問題を指摘し，本研究の位置づけを明確にする．

4章では本論文が提案する，輝度勾配方向ヒストグラムのエントロピーを用いた歪パラメータの自動推定手法について述べる[38, 39]．はじめに画像の歪の大きさと輝度勾配方向ヒストグラムのエントロピーの関係について述べ，その後画像の歪が最小となる歪パラメータの探索方法を示す．また，歪の含まれない画像に対して人為的に歪を加え，その時の輝度勾配方向ヒストグラムのエントロピーの変化を求める実験の結果を示し，提案手法で使用している仮定の正当性を確認する．

5章では提案手法を歪画像に対し適用し，その実験結果について述べる．はじめに人為的に歪を付加した画像に対し提案手法を用いて歪パラメータの推定を行い，

提案手法の基本的な歪パラメータの推定能力について考察する．次に，実際の車載カメラから得られた歪画像に対して歪パラメータの推定を行い提案手法の有効性を示すとともに，提案手法が有効となる条件について述べる．

6章では提案手法の演算を高速化する手法について議論する[40]．高速化は，一つは探索するべき歪パラメータの次元数を削減すること，もう一つは輝度勾配方向ヒストグラムの作成方法を工夫することによって達成される．歪パラメータの数を削減することで大幅な高速化が期待されるが，当然のことながら歪画像の高精度な補正を困難にする．そこで市販の複数の車載カメラに対して歪パラメータの次元を削減した時の影響を調査し，実用的には1つのパラメータで十分それら放射歪を補正できることを示す．また輝度勾配ヒストグラムの作成においては，実際に画像を変形せずに，その座標変換のヤコビ行列を用いて歪画像から直接輝度勾配を計算する手法を適用する．これら2種類の高速化手法により，実用上十分な補正精度を保ったまま高速で処理を実行できることを示す．

最後に7章では本研究で得られた結果をまとめ，今後の研究課題について述べる．

(9)

5

第 2 ^{章歪モデルの定義}

本章では，まずはじめにカメラモデルについて触れ，その後，本論文で扱う歪モデルの定義を行う．

2.1 放射歪を含むカメラモデル

2.1.1 カメラモデル

歪モデルを扱う前に一般的なカメラにおける画像の投影について説明する．カメラである風景を撮影すると，空間上の3次元物体が2次元画像データとして記録される．すなわちカメラでは3次元空間(世界座標系)を2次元画像平面(画像座標系)への変換を行っていることになるが，この変換を最も単純に表現しているのがピンホールカメラモデル(pinhole camera model)である．ピンホールカメラモデルは図2.1で表され，このモデルでは光学中心(optical center)，すなわちピンホール位置を通過する光線のみ投影面(plane of projection)へ結像するモデルとなっている．

図 2.1: ピンホールカメラモデル

(10)

ピンホールカメラモデルでは3次元空間上の物体の像が上下左右反対に投影面に投影される．それを避けるため，ピンホールカメラと等価な透視投影モデル(per- spective projection model)を利用する(図2.2)．

図 2.2: 透視投影

透視投影モデルでは透明な仮想投影面を通して3次元空間を見ることになるため3次元空間上の物体の向きと投影面における物体の像の向きが一致する．ここで光学中心Oから投影面に垂直に引いた直線を光軸(optical axis)と呼び，光軸と投影面の交点を光軸点(principal point)と呼ぶ．なお図2.2に示すように3次元空間座標は光軸をZ軸に一致させ，X軸とY 軸をそれぞれ投影面のx軸，y軸と平行になるように設定する．このようにカメラを中心として定義した座標系のことをカメラ座標系(camera coordinate system)と呼ぶ．ここで，光学中心と投影面までの距離が焦点距離(focal length)である．以上の光軸点，焦点距離がピンホールカメラモデルにおける内部パラメータであり，式(2.1)で表される．

A =





f 0 c_x 0 f cy

0 0 1



 (2.1)

A : 内部パラメータ

f : 焦点距離

cx, cy : 光軸点

図2.2にあるように3次元空間上の点(X, Y, Z)を2次元投影面上での点(x, y)に変換することを考える．カメラ座標系において2次元投影面上の点は焦点距離fを

用いて(x, y, f)として表すことができる．ピンホールカメラモデルにおいて，投

(11)

2.1. 放射歪を含むカメラモデル 7 影面上の点xと焦点距離fの比が3次元空間上のXとZの比に等しく，点yと焦点距離fの比が3次元空間上のY とZに等しくなる．したがって3次元空間上の点(X, Y, Z)と2次元投影面上の点(x, y)は式(2.2)のような関係がある．

x=fX Z y=fY

Z (2.2)

したがってピンホールカメラモデルにおいては焦点距離によってのみ投影面に投影される座標が決定される事が分かる．しかし画像に歪が含まれている状態においては式(2.2)は成り立たない．歪が含まれる場合，3次元空間上の点(X, Y, Z) と2次元投影面上の点(x, y)の対応関係を得るためにはカメラの内部パラメータ

(式(2.1))に加えて，歪の大きさを示す「歪パラメータ」を求める必要がある．続

く2.1.2節ではカメラに歪が発生する理由について，2.1.3節では歪のモデルにつ

いて述べる．

2.1.2 ^{レンズモデル}

ピンホールカメラで撮影をすると，小さな穴を通過した光線のみが撮像面に到達するため画像が非常に暗くなってしまう．穴を大きくすれば画像は明るくなるが，光が広がってしまいぼけた画像となる．そこで，実際のカメラにおいてはレンズを利用して十分な光量を確保したまま撮像面に光を集めている．レンズへの光線の入射と結像位置について表したものが図2.3である．

(12)

図 2.3: レンズへの光線の入射と結像位置

図2.3(上)に示す通り，無限遠にある点光源からレンズに入射する光はレンズ後方の焦点距離の位置で結像するが，図2.3(下)のように点光源がレンズに近づくと焦点とは異なる位置に結像する．これはレンズの持つ以下の特性によるものである．

• レンズ光軸に平行な光線がレンズを通過すると焦点で光軸と交わる

• 焦点で光軸と交わる光線がレンズを通過すると光軸と並行になる

• 光学中心を通過した光線は直進する

ここで，物体とレンズまでの距離をa，レンズから結像面までの距離をb，焦点距離をfとすると式(2.3)(ガウスのレンズ公式)が成り立つ．

(13)

2.1. 放射歪を含むカメラモデル 9

1 a + 1

b = 1

f (2.3)

したがって図2.3(上)のように物体が無限遠にあるとき(a =∞)の場合，結像面までの距離は焦点距離と等しくなりピントの合った画像が得られるが，図2.3(下) のような場合，結像面において光線が収束せずピントがずれたぼけた画像として撮影される．これはレンズ全体を撮像面から離す方向に移動させることで解消できる．

また，レンズを用いる場合の問題点として画像に歪が発生する事が挙げられる．

特に広い視野を得ることのできる広角レンズには画像端で大きな歪が発生することが知られている．レンズの歪には半径方向への歪である放射歪(radial distortion) と円周方向への歪(tangential distortion)の2種類が存在する．放射歪は図2.4(上) に示すようにレンズに入射する光線の入射角θと光学中心を通りレンズから出射する光線の出射角θ^′が等しくならないために発生する．レンズに光線が入射する位置によってカメラの投影面上での位置が移動するため発生する歪で，一般的に画像の中心から離れるほど大きな歪となって現れる．円周方向の歪は図2.4(下)に示すようにカメラ中心と光学中心のずれや傾きなどにより発生する歪で，安価に製造されたカメラに発生することがある．

放射歪と円周方向の歪，それぞれの歪を人為的に発生させた画像を示したものが図2.5である．図2.5の左側が歪が含まれない画像，中央が放射歪のみが含まれる画像，右側が円周方向の歪のみ含まれる画像の例であるが，中央の放射歪画像では画像の中心から離れるほど大きな歪が発生し，元の画像では直線で構成されている模様が曲線に変形していることが確認できる．また，円周方向の歪に関しても歪みにより直線が変形している事が分かる．このような歪が発生している画像では前節の最後で述べたとおり，カメラのモデルをピンホールカメラモデルとして扱うことができない．このような画像をピンホールカメラモデルとして扱うためにはカメラの歪パラメータを何らかの方法により計測し，その歪パラメータを用いて，画像をピンホールカメラモデルへと変換する必要がある．以下では歪をモデル化し，歪画像を変換する方法について説明する．

2.1.3 歪モデル

まず，歪をモデル化するに当たり座標系の設定を行う．ここで，画像の中心を

原点(0,0)とし，画像の右方向にy座標，画像の上方向にx座標を取る座標系を考

える．通常の2次元座標系と比べてx, yが逆になっているが，これはカメラの光軸方向をz軸としたときにx−y−z座標を右手系とするためである．歪画像上の位置を(x, y)，補正画像上の位置を(x^′, y^′)とすると，歪画像の座標と補正画像の座標には以下のような関係がある[49, 50]．

(14)

図 2.4: 画像に歪が発生する原因(上：放射歪の原因，下：円周方向の歪の原因)

図 2.5: 歪の例: 歪無し画像(左), 放射歪画像(中央),円周方向の歪画像(右)

(15)

2.2. 本研究の対象とする歪モデル 11

x^′ = (1 +

∑∞ i=1

κir²ⁱ)x

+(2P₁xy+P₂(r²+ 2x²))(1 +

∑∞ i=1

P_i+2r²ⁱ)

y^′ = (1 +

∑∞ i=1

κ_ir²ⁱ)y

+(2P₂xy+P₁(r²+ 2y²))(1 +

∑∞ i=1

P_i+2r²ⁱ)

r = √

x²+y² (2.4)

式(2.4)は放射歪と円周方向の歪を複合した形であり，κ_iが放射歪に関する歪パ

ラメータ，P_iが円周方向の歪に関する歪パラメータである．これらのκ_i，P_iの大小によって歪みの強さが決まる．それぞれの歪パラメータが(κi = 0, Pi = 0)であるとき歪は発生していないことになるので(x, y)と(x^′, y^′)は一致することが確認できる．

レンズによる歪を完全に補正するためには歪パラメータ{κ1, κ2, κ3, ..., P1, P2, P3, ...

}を求めなければならないが，これら全てのパラメータを求めるのは困難である．

しかしながら実際には式(2.4)の右辺において高次の項による影響は小さいとされており，一般的なレンズの歪補正に関しては以下のように近似されることが多い．

x^′ = (1 +κ₁r²+κ₂r⁴)x+ (2P₁xy+P₂(r²+ 2x²))

y^′ = (1 +κ₁r²+κ₂r⁴)y+ (2P₂xy+P₁(r²+ 2y²)) (2.5) したがってレンズの歪を補正するためには，以上の式の歪パラメータ(κ₁, κ₂, P₁, P₂) を求める必要がある．

2.2 本研究の対象とする歪モデル

前節にてレンズの歪には放射歪と円周方向の歪が存在し，それらの歪を補正するためには4種類の歪パラメータ(κ₁, κ₂, P₁, P₂)が必要であると述べた．しかしながら多くの先行研究において主要な歪は放射歪であり円周方向の歪による影響は十分小さく無視できるとされている事が多い．円周方向の歪が発生する理由として，光学中心とカメラの撮像面の中心のずれ，レンズや撮像面の傾きなどが挙げられるが，これらは製造過程における問題であり，近年の製造技術の向上に伴いこれらの問題が解決され精度の良いカメラが生産されているためである．

(16)

そこで本研究も先行研究に倣い，放射歪のみを対象として歪モデルを扱うものとする．一般的にレンズの歪モデルは式(2.5)で表されるが，本研究が対象とする歪モデルは式(2.6)で表される．

x^′ = (1 +κ₁r²+κ₂r⁴)x

y^′ = (1 +κ₁r²+κ₂r⁴)y (2.6) このモデルでは，歪パラメータが(κ₁, κ₂)の2つのみであるから，歪の大きさに関する何らかの指標が与えられれば，最適なパラメータを探索により容易に決定することが可能である．

実際に歪補正を行うためには補正画像の座標(x^′, y^′)が歪画像のどの位置に対応するのかを計算により求めることになる．その際，式(2.6)に歪パラメータ(κ₁, κ₂) と補正後の座標(x^′, y^′)を与えて歪画像上の座標(x, y)を求めることになる．しかしながら式(2.6)の右辺のrには(x, y)が含まれるため単純に求めることはできない．そこで，まず以下のような方程式を立てrを求めることとする．

r^′ = (1 +κ₁r²+κ₂r⁴)r ... (1 +κ1r²+κ2r⁴)r−r^′ = 0

(r^′ =√

x^′²+y^′²) (2.7)

式(2.7)は非線形方程式であり，直接解を求めることが難しいため，数値解析的

手法によりrを求めることとする．なお，数値解析により非線形方程式の解を求める手法は二分法，はさみうち法，ニュートン法，割線法など数多くあるが，本研究では計算速度と実装の容易さの点からニュートン法を採用した．まず，連続微分可能な実数値関数f(r)を式(2.8)のように設定し，f(r) = 0の根r = αを求める．

f(r) = (1 +κ₁r²+κ₂r⁴)r−r^′ (2.8) αの適当な近似値r₀を初期値として与え，このときf(r₀)̸= 0であるならばr₀にある補正値hを加算しα = r0+hとおく．hの絶対値が十分に小さい時は近似的に式(2.9)が成り立つ．ただしf^′は関数fの微分を表す．

0 = f(α) =f(r₀+h)≃f(r₀) +f^′(r₀)h

f^′(r) = 1 + 3κ₁r²+ 5κ₂r⁴ (2.9) f^′(r₀)̸= 0であるならば補正量hは式(2.10)で与えられ，式(2.11)に示すようにより精度の高いαの近似値が得られる．

(17)

2.2. 本研究の対象とする歪モデル 13

h =−f(r₀)

f^′(r₀) (2.10)

r₁ =r₀− f(r₀)

f^′(r₀) (2.11)

したがって式(2.12)に示すように，この計算を繰り返し行い十分な精度の近似解 r_n+1を求める．

r_n+1 =r_n− f(r_n)

f^′(r_n) (2.12)

本研究においてはニュートン法の終了の判定を式(2.13)のように設定した．

f(r_n+1)≤1.0⁻⁵ (2.13)

以上のようにして求めたrを用いて，式(2.6)のx, yについて，それぞれの方程式を解くことにより，歪画像上の座標(x, y)を求める事ができる．

式(2.6)により歪補正を行った結果を図2.6に示す．図から分かる通り式(2.6)を

用いて得られた座標をそのまま用いてしまうと画像が拡大されてしまう．

図 2.6: 歪補正の例(左：歪画像,中央：補正画像(κ₁ = 3.0×10⁻⁶, κ₂ = 0),右：補正画像(κ₁ = 7.0×10⁻⁶, κ₂ = 0))

そこで，本論文においては式(2.14)に示すように適当な関数を乗じることによって画像の大きさが一定になるように正規化を行う．歪パラメータの大きさによって画像サイズが変わるため，一定の係数ではなく(κ₁, κ₂)の値によって変化する関数を乗じている．

(18)

x^′ = g(κ₁, κ₂)(1 +κ₁r²+κ₂r⁴)x y^′ = g(κ1, κ2)(1 +κ1r²+κ2r⁴)y

g(κ₁, κ₂) : 正規化関数 (2.14) 正規化は画像のある画素が常に一定の位置にあるように行うが，画像の四隅の点のいずれかが一定になるように正規化を行うか(図2.7の中央)，画像上辺の中点が一定になるように正規化を行う(図2.7の右側)事が多い．

図 2.7: 歪補正における画像サイズの正規化(左：歪画像, 中央：補正画像(四隅の点で正規化),右：補正画像(画像上辺の中点で正規化))

本論文においては4章，5章においては図2.7(右)のような正規化を，6章においては図2.7(中央)のような正規化を行い歪パラメータの推定，および画像の歪補正を行った．

2.3 ^{本章のまとめ}

本章では，はじめにカメラモデル，レンズモデルに関する説明を行い，歪が発生する原因について説明した．次に，一般的な歪モデルについて例を挙げて説明しその定式化を行った．歪モデルには代表的なものとして半径方向への歪である放射歪と円周方向への歪である円周方向歪が存在するが，一般的なカメラにおいて円周方向歪に関しては影響が小さいとされるため本論文では扱わないこととした．最後に歪画像を補正する際の手順について説明し，章全体を通して以降の歪補正手法の前提知識となる部分を扱った．

なお，本章の内容は[1]〜[9]に基づいており，その基本的な内容は[1, 4, 9]にある．また，放射歪に関しては[1]，円周方向への歪に関しては[47, 48]の内容を主に参考にしている．

(19)

15

第 3 章レンズの歪補正手法

本章ではレンズの歪を補正する手法についてまとめる．歪補正の手法は大きく分けて2種類存在する．1つは専用のキャリブレーションパターンを撮影し歪パラメータを計算する手法で，もう一つは特別なパターンの代わりとして一般的な環境に存在する特徴的な構造を利用する手法である．本論文で提案する手法は後者に含まれる．ここでは格子模様の間隔が既知であるチェッカーボードパターンを使用し歪パラメータを求める手法，直線が多く含まれる環境構造物を利用し歪パラメータを推定する方法について紹介し，それぞれの問題点を指摘する．次章以降はその解決方法を与えるものであり，本章は本論文の問題を提起するものである．

3.1 キャリブレーションパターンを利用した歪補正

2章で述べたとおり，画像に含まれる放射歪を取り除くためには歪パラメータ (κ₁, κ₂)を何らかの方法により求める必要がある．専用のキャリブレーションパターンを用いて歪補正を行う場合，カメラの内部パラメータや外部パラメータのキャリブレーションを行い，カメラの内部パラメータに含まれる形で歪パラメータを計算する場合が多い[10]〜[18]．カメラの内部パラメータ，外部パラメータはそれ

ぞれ式(3.1)，(3.2)で表されるパラメータ行列である．

A =





f_x 0 c_x 0 f_y c_y

0 0 1



 (3.1)

R =





r₁₁ r₂₁ r₃₁ r₁₂ r₂₂ r₃₂ r₁₃ r₂₃ r₃₃





=





cosθ_Z −sinθ_Z 0 sinθZ cosθZ 0

0 0 1









cosθ_Y 0 sinθ_Y

0 1 0

−sinθ_Y 0 cosθ_Y









1 0 0

0 cosθX −sinθX

0 sinθ_X cosθ_X





T =



 t_x t_y tz



 (3.2)

(20)

内部パラメータ行列(A)にはカメラの焦点距離(f_x, f_y)および光軸点(c_x, c_y)が含まれる．また，外部パラメータ行列(R, T)は3次元空間におけるレンズの光軸方向(R)，およびレンズの中心座標(T)を表しており，カメラの位置姿勢は図2.2の座標系におけるX,Y,Z軸周りの回転行列Rと平行移動行列Tで表すことができる．

本節では現在最も利用されていると考えられるZhangのカメラキャリブレーション手法[13]について説明する．Zhangのカメラキャリブレーションアルゴリズムはオープンソースの画像処理ライブラリであるOpenCV[59]にて利用が可能で，図 3.1に示すように異なる視点からチェッカーボード画像を撮影するだけでレンズの歪パラメータ，カメラの内部パラメータ，外部パラメータの推定が可能である．チェッカーボード画像を異なる視点から最低3枚撮影すれば，カメラがどのように動いたかなどの情報を入力する必要がなく非常に容易にパラメータの推定が行える．

図 3.1: 異なる視点から撮影されたチェッカーボード

まず，図3.1の各画像からチェッカーボードの交点座標の取得を行う．これは人の手で一つ一つの座標を調べても良いが，一般的にはコーナー検出処理を用いてサブピクセル精度で座標を求めることが行われている．ここでチェッカーボード画像から交点の座標を抽出した例を図3.2に示す．図3.2はOpenCVに実装されているfindChessboardCornersおよびcornerSubPix関数により作成した．

以下，コーナー検出により求められたチェッカーボードの交点座標を用いてキャリブレーションを行う方法について述べる．

3次元空間上のある点P の3次元座標の同次座標表現をP = [X Y Z 1]^T，画像上の2次元座標の同次座標表現をp= [u v 1]^T とするとこれらの関係はカメラの内部パラメータA，外部パラメータ[R|T]，スケール係数sを用いて式(3.3)のように表すことができる．

(21)

3.1. キャリブレーションパターンを利用した歪補正 17

図 3.2: チェッカーボード画像の交点座標抽出の例

sp =A[R|T]P (3.3)

チェッカーボードの存在する平面をZ = 0と仮定して式(3.3)を変形すると式 (3.4)のように表すことができる．ここで，[r₁ r₂ r₃]は回転行列Rを表しており，

r₁,r₂,r₃はそれぞれ1×3の列ベクトルである．また，tは平行移動行列T であり，

1×3の列ベクトルである．

s



 u v 1



 = A [

r₁ r₂ r₃ t ]





 X

Y 0 1







= A

[

r₁ r₂ t ]

 X Y

1



 (3.4)

ここで，3次元空間上の点P はチェッカーボード上の点であり全て同一平面上に属している．したがって，これらの点と画像上の点pとの対応は3列3行のホモグラフィ行列Hを用いて式(3.5)のように表現できる．

sp = HP

H = A[r₁ r₂ t] (3.5)

ここで，H = [h₁ h₂ h₃]とすると以下の式が得られる．

[h₁ h₂ h₃] =A[r₁ r₂ t] (3.6)

(22)

r₁,r₂が互いに直交する単位ベクトルである事を利用すると内部パラメータAに関する以下の制約条件が成立する．

h₁^TA⁻^TA⁻¹h₂ = 0 (3.7)

h₁^TA⁻^TA⁻¹h₁ = h₂^TA⁻^TA⁻¹h₂ (3.8) すなわち1つのホモグラフィ行列から内部パラメータに関する2つの式を立てることができる．求めるべき外部パラメータは6種類(回転に関するパラメータ3 種，平行移動に関するパラメータ3種)であるため，ホモグラフィ行列を3つ以上得ることができればパラメータの推定は可能である．チェッカーボード画像1枚につきホモグラフィ行列Hが1つ得られるため，画像を3枚以上撮影すれば良い理由はここにある．Zhangの手法では非線形最適化により内部パラメータおよび外部パラメータの推定を行っている．

しかし，ここで得られた各パラメータは画像に歪が発生していないという前提のもとに求めているため正確な値は得られていない．そこでここで得られた内部パラメータおよび外部パラメータを初期値として歪パラメータの推定を行い，歪補正を行った後，再び内部パラメータ，外部パラメータの推定を行うという繰り返し処理により精度を向上させている．歪パラメータの推定は以下のようにして行う．

まず，歪のモデルは式(2.6)で設定したものと同様であるが，式(3.9)に示すように歪関数を補正画像の座標(x^′, y^′)に対して乗じている点で異なる．

x = (κ₁r^′²+κ₂r^′⁴)x^′+x^′ y = (κ₁r^′²+κ₂r^′⁴)y^′+y^′ r^′ = √

x^′²+y^′² (3.9)

歪画像上の点(x, y)を3次元空間上に投影した点を(u, v)，それに対応する補正画像の上の点(x^′, y^′)を3次元空間上に投影した点を(u^′, v^′)とする．ここではチェッカーボードの交点を対象としているため3次元空間上の座標においてZ = 0である．これらの座標系を用いて歪を表現すると式(3.10)のようになる．

u = (κ₁r^′²+κ₂r^′⁴)(u^′−c_x) +u^′

v = (κ₁r^′²+κ₂r^′⁴)(v^′−c_y) +v^′ (3.10) また，式(3.10)は式(3.11)のように変形できる.ここでu=c_x+f_xx, v =c_y+f_yy であり，u^′, v^′はカメラの内部パラメータ，外部パラメータを推定した時のものを使用すれば歪パラメータ(κ₁, κ₂)を計算することが可能である．実際にはm個の

(23)

3.2. 環境構造を利用した歪補正 19 交点が存在するチェッカーボード画像をn枚撮影したとすると式(3.11)は合計で 2mn個となり，これらのデータから線形最小二乗法により歪パラメータの推定を行っている．また先にも述べたとおり，歪パラメータを推定後，カメラの内部パラメータ，外部パラメータの計算を繰り返し計算し精度の向上を図っている．

s [

(u^′−c_x)r^′² (u^′−c_x)r^′⁴ (v^′ −c_y)r^′² (v^′ −c_y)r^′⁴

] [ κ₁ κ₂

]

= [

(u−u^′) (v −v^′)

]

(3.11)

最後にZhangのカメラキャリブレーション手法によって画像の歪補正を行った

例を図3.3に示す．画像外側に見られる大きな歪が補正されていることが確認できる．

図 3.3: Zhangの手法による歪補正の例(左：元画像，右：補正画像)

3.2 環境構造を利用した歪補正

専用のキャリブレーションパターンを使用せず画像の歪を取り除く手法も数多く報告されている．このような手法の利点としては，煩わしいキャリブレーションパターンの撮影をしなくて良いということと，専用のパターンを必要としないため場合によっては過去に撮影した画像の歪を取り除くことも可能である，ということが挙げられる．

専用のキャリブレーションパターンを使用しない手法では，その多くが実環境中の直線で構成されている構造物を利用している[23]〜[40]．例えば，屋内環境では柱や扉，窓などが該当する．屋外環境では建物や看板，電柱などである．放射歪を含む画像ではこれらの直線が曲線として撮影される．適切な歪パラメータで画像の歪補正を行うと風景中の直線が正しく直線として写り，歪画像に比べて多くの直線が含まれるようになる，というのが基本的な考えである．

(24)

また，直線で構成されている構造物以外の特徴を利用する手法として，画像の消失点を利用し歪パラメータの推定を行う手法[41, 42]，複数視点の画像の特徴点の対応付けを行い基礎行列を求める手法[44, 45, 46]などが存在する．

専用のキャリブレーションパターンを使用しない歪パラメータの推定では，歪の大きさに関する指標の設定が重要で，これを適切に設定できれば後は探索により容易に歪パラメータを求めることができる．

ここでは代表的な従来手法の例として，画像中から直線を抽出し，その直線の方向ヒストグラムのエントロピーを歪の指標として用いて歪パラメータの推定を行うRostenらの手法[35]について紹介する．

手法の概要としては歪パラメータを変化させながら画像の歪を補正し，補正した画像から直線の抽出を行う．抽出した直線の方向からヒストグラムを作成しそのエントロピーが最小になるときの歪パラメータを求めるというものである．

歪画像では3次元空間上で直線で構成されている物体が曲線として写されるため，直線の抽出を行うと様々な方向の直線が抽出される．これに対し，歪が補正された画像では3次元空間上の物体の直線が正しく直線として現れるため，歪画像では様々な方向で検出された直線が1つの直線として検出される．そのため正しく補正された画像における直線の方向ヒストグラムは歪画像の方向ヒストグラムに比べ明瞭なピークが現れやすく，ヒストグラムのエントロピーを比較すると正しく補正された画像の方が小さな値となる．

実際に行われている歪パラメータの探索手順は以下に示すとおりである．

1. 歪画像中の明瞭なエッジを抽出する．

2. 抽出したエッジを適当な歪パラメータで補正座標に変換する．

3. ハフ変換により直線の抽出を行う．

4. 抽出した直線の方向からヒストグラムを作成する．

5. 2〜4の処理を方向ヒストグラムのエントロピーが最小になるように歪パラメータを変化させながら繰り返し行う．

手順の3．で用いているハフ変換とは2値画像中から直線や円などの任意の図形の特徴を抽出する汎用的な手法であり，ここでは直線の抽出に利用している．直線の方向ヒストグラムの作成方法を説明する前にハフ変換における直線抽出の基本的な考え方について説明する．

x−y平面上における直線は傾きaとy切片bを用いて，y = ax+bと表すことができる．このとき，a, bを基底とするパラメータ空間を新たに用意し，直線 y=a₀x+b₀をa−b平面に写像すると(a₀, b₀)という点で表現される．逆に，x−y 平面上のある1点(x₀, y₀)をa−b平面に写像すると直線として表現される．この直線はx−y平面における点(x₀, y₀)を通る直線の集合を表している．ここで，x−y

(25)

3.2. 環境構造を利用した歪補正 21 平面上の点p₁, p₂, p₃全ての点を通る直線を抽出例を図3.4に示す．全ての点をa−b 平面に写像し3本の直線が全て重なる点を求め，その点をx−y平面に逆写像するとp₁, p₂, p₃の全ての点を通る直線となる．実際に直線検出として用いる場合には，

画像上のエッジ点をパラメータ空間に写像し，パラメータ空間上で直線がある閾値以上重なっている(投票されている)点を探し出し直線を得ることができる．

図 3.4: ハフ変換による直線抽出

しかし，直線を傾きと切片で表すとx軸に対して垂直な直線の傾きは無限大となりa−b平面では表現できない．そのため，一般的には式(3.12)に示すように，

原点(ここでは画像中心とする)から直線へと下ろした垂線の長さρ，垂線とx軸

の成す角θを用いて直線を表す形式が用いられる．θは0 ≤ θ < 180であり有限で，ρも画像の対角線の長さを越えることはないため有限である．これは有限のパラメータで画像内の全ての直線を表現できることを意味している．

ρ=xcosθ+ysinθ (3.12)

歪パラメータの推定手順の4．において直線の方向ヒストグラムを作成する際の直線の方向とは式(3.12)のθである．また，ヒストグラムを作成する際に画像の端の方で大きな歪が発生していることから画像中心からの距離が遠い方向成分に重み付けをしている．具体的にはヒストグラムのビンにハフ変換で求めたρの値を加算し，重み付けを行っている．

(26)

以上のような処理を実装し，実際の歪画像に対して歪パラメータの推定を行った結果を図3.5に示す．図の左側が元画像，右側がRostenらの手法により推定した歪パラメータで歪補正を行った結果である．なお，実装は[35]の論文に基づき，

筆者が行っているためRostenらの実装とは厳密には結果が異なる可能性がある．

図 3.5: Rostenらの手法により歪補正を行った例

ここで，図3.5(上)の例では適切な歪補正が行えているが，図3.5(下)の例では過剰な歪補正を行ったしまっていることが目視により確認できる．この理由について考察する．それぞれの画像を適切なパラメータで歪を取り除いたものを図3.6に示す．これらの画像に対してCannyのエッジ検出アルゴリズム[58]を適用し，エッジ画像としたものが図3.7で，さらにそれらの画像に対してハフ変換を適用し直線の抽出を行った結果が図3.8である．なおハフ変換における投票数の閾値は80と設定し直線の抽出を行っている．

(27)

3.2. 環境構造を利用した歪補正 23

図 3.6: 図3.5の歪画像を適切に補正した例

図 3.7: Cannyのエッジ検出アルゴリズムの適用

図 3.8: ハフ変換による直線の抽出

図3.8から分かる通り，左側の建物を撮影した画像においてはハフ変換により適切に直線の抽出が行えているが，右側の風景画像に対しては様々な方向の直線を検出してしまっており，3次元空間上で特徴的な直線以外のものも多く抽出してしまっている事が確認できる．これは図3.7を見れば分かるが，左側の建物画像は非常に単純なエッジ成分で構成されているのに対し，右側の風景画像においては細

(28)

かなエッジ成分が数多く存在する．これらの細かなエッジ成分がハフ変換を行う際の投票処理に影響を与えているのではないかと推測される．

ハフ変換を用いて直線を抽出し，画像の歪パラメータを探索する方法ではある程度単純な画像に対しては精度よく歪パラメータの推定が行えるが，複雑な風景画像などに対してはハフ変換の特性などの影響により適切な歪パラメータを推定することは難しい．

3.3 ^{本研究の目的}

ここまで専用のキャリブレーションパターンを用いた歪パラメータの推定方法，

環境構造を利用した歪パラメータの推定方法について説明してきたが，本節ではこれらの手法が抱える問題点について述べる．

専用のキャリブレーションパターンを用いた手法では一般的に歪パラメータを求めると同時にカメラの内部パラメータ，外部パラメータを求めることができる．これらのパラメータは1章で例に挙げたようなロボットの移動量を解析するVisual-

odometryなど2次元の画像から3次元的な情報を復元する目的で画像を使用する

際に重要なパラメータであるが，画像を利用する上で必ずしも求めなければならないということはない．例えば，自動車に搭載されるドライブレコーダやバックモニタなどのように人間がカメラから得られた画像を目視により確認し操作を行うなどの場合，歪パラメータのみ求まれば歪補正を行った画像をドライバーに提示できるため十分である．また，キャリブレーションパターンを用いて歪の補正を行うにはある程度の技術が必要であり，一枚一枚カメラでキャリブレーションパターンを撮影する作業も煩雑である．特に，ここで例に挙げたドライブレコーダやバックモニタなどの車載カメラはカメラとそれを処理しドライバに提示するシステムが別々に販売されているため，キャリブレーションパターンを用いた歪補正を利用しようとするとユーザがパターンを撮影しカメラのキャリブレーションを行わなければならない．これは現実的に無理があるため，通常得られる風景画像から歪パラメータを自動的に推定することが望ましい．

専用のキャリブレーションパターンを用いずに歪パラメータの推定を行うためには，キャリブレーションパターンの代わりとして特徴的な環境構造を利用する方法がある．3.2節で紹介したように環境構造を利用した手法も数多く存在するが，

その対象が屋内環境に限定されていたり，ある特殊なシーンでしか利用ができないなど使用目的が限られるケースが多い．また，3.2節で扱った[35]の手法では一般的な風景画像には直線が多く含まれていることを利用し，歪の大きさを直線の方向ヒストグラムのエントロピーで表現している．直線の方向ヒストグラムのエントロピーを1つの指標として一般的な風景画像から歪パラメータを自動的に推定できるという利点があるが，ハフ変換を使用して直線の抽出を行っているため，

自動車を走行中の風景画像のように様々な物体が入り組んだ複雑な画像に対しては上手く機能せず歪パラメータの推定を適切に行うことは難しい．また，ハフ変

(29)

3.4. 本章のまとめ 25 換を使用して直線を抽出するためにはエッジ点抽出のための閾値，ハフ変換における直線の投票処理の閾値など細かいパラメータの設定をしなければならないが，

これは画像の明るさや解像度などに左右され適宜変更しなければならない．そのため”完全に”自動的に歪パラメータの推定を行っているとは言えない．

そこで，本研究では以上の問題点を解決するために，カメラから得られる一般的な風景画像を用いて完全に自動的に歪パラメータの推定を行う手法の開発を目的とする．基本的な概念としては[35]の手法同様，一般的な風景画像には直線で構成される構造物が多く含まれている事を利用するが，歪度の表現として輝度勾配方向ヒストグラムのエントロピーを採用し，ハフ変換による直線抽出よりも安定した評価を可能にする．また，風景画像にも様々な種類があり，直線で構成される構造物が多く含まれる画像もあれば，樹木や雲などが大半を占める画像も考えられる．そのため，一枚の画像のみから歪パラメータを推定しようとすると安定した歪パラメータの推定は難しい．提案する手法では複数枚の画像における歪パラメータの推定結果から統計的に適切なパラメータを判断し信頼性の高い歪パラメータの推定アルゴリズムを構築する事を目的とする．

以降の章では自動的な歪パラメータの推定が必要とされる用途として車載カメラを例にあげ，提案手法および実験について述べるが，本論文で提案する手法の用途は車載カメラに限られるわけではなく，様々な目的に対して応用可能である．

3.4 ^{本章のまとめ}

本章ではカメラの歪を補正する手法について実際に例を挙げて説明を行った．ここでは主に2種類の方法について紹介しており，1つは専用のキャリブレーションパターンを用いた例，もう一つはキャリブレーションパターンを用いず特徴的な環境構造のみを利用して歪パラメータの推定を行う例である．それぞれの手法の抱える問題点，特にドライブレコーダなどの車載カメラの放射歪を補正する際に発生する問題について指摘し，本論文の提案する歪補正手法の位置付けを明確にした．

(30)

第 4 章輝度勾配方向ヒストグラムを利用した放射歪の自動補正

前章で紹介したハフ変換を用いた歪パラメータの推定手法では，人工物には直線が多く含まれるという性質を利用し，特殊なキャリブレーションパターンを使用せずに歪パラメータを推定することが可能であった．しかし，画像中に明瞭なエッジが含まれている必要があり適用できる画像の種類が限定されてしまう．また，ハフ変換を用いて直線を求めているため投票数やエッジ強度の閾値などのパラメータ設定を行わなければならず，画像の解像度，明るさなどが変わった場合の対応を人の手で行わなければならず，完全な自動化はできない．そこで本章では画素値から直接，輝度勾配方向ヒストグラムを作成し放射歪の歪パラメータを推定する手法を提案する．まずはじめに提案手法で歪の度合いをどのように表現するかについて述べ，輝度勾配方向ヒストグラムの作成方法について触れる．その後，輝度勾配方向ヒストグラムのエントロピーを用いた歪パラメータの探索方法について説明し，最後に歪の含まれていない画像に対し人為的に歪を加える実験を行い，その時の輝度勾配方向ヒストグラムのエントロピーの変化を示し，提案手法の仮定の正当性を示す．

4.1 ^{歪度の表現}

2.2節で述べたとおり，本論文の設定する歪モデルにおいて放射歪に関するパラメータは(κ₁，κ₂)の2種類のみである．そのため，放射歪の大きさに関する何らかの指標を与えることができれば探索により簡単に歪パラメータを推定することが可能である．

車載カメラから得られる自動車で走行中の風景画像には建物や看板，電柱などといった環境構造物がよく見られる．これらの構造物は3次元空間上では直線で構成されている事が多いが放射歪を含むカメラを用いて撮影された歪画像中では放射歪の影響により直線が曲線として撮影される．このように放射歪により3次元空間上の直線が曲線として撮影される例を図4.1に示す．図の左側が歪無しの画像，右側が放射歪の影響を受けた画像であるが，画像中央上の高架に注目すると左側の図では直線として撮影されているが，右側の図では曲線を描いていることが確認できる．