Microsoft PowerPoint - CV10.ppt [互換モード]

カメラキャリブレーション

カメラキャリブレ ション

呉海元＠和歌山大学

呉海元＠和歌山大学

カメラキャリブレーション（校正）

実世界のカメラと

カメラモデル

との対応付け

カメラキャリブレーション項目

ラキャリ

ション項目



幾何学的キャリブレーション

外部パラメ タ

：

₆

-

外部パラメータ

：

₆

世界座標系におけるレンズの中心座標

_(t)、

レンズ光軸の方向

(R)

レンズ光軸の方向

(R)

-

内部パラメータ

：

₅

像

像

ズ

焦点距離、画像中心、画像（画素）サイズ、

歪収差係数

カメラの外部変数（extrinsic parameters)： ６個 3

カメラキャリブレーション手順

ラキャリ

シ

手順

1

幾何学的・光学的特性が既知の対象物を撮影

1.

幾何学的 光学的特性が既知の対象物を撮影

2.

対象物固有の特徴

（特徴点の世界座標など）と

その

画像特徴

（その特徴点の画像座標）を対応

付け

～ エピポーラ幾何、知識、ヒューリスティクス 3

カメラモデルに基づき モデルパラメ タを推定

3.

カメラモデルに基づき、モデルパラメータを推定

～ 射影幾何、線形代数、数値解析、統計 4

キャリブレーションデータと安定性



ワールド座標と画像座標の対応点

安定性

標

像

標

• ３次元位置既知の特徴点 • 透視投影行列P • 透視投影行列P 

既知の形状の特徴



既知の形状の特徴

• 平面上の特徴点、円、矩形など ホモグラフィH レンズ歪みk • ホモグラフィH、レンズ歪みk, 

画像座標同士の対応付け



画像座標同士の対応付け

• ３次元位置未知の特徴点、軌跡など 基礎行列F E 簡便さ • 基礎行列F,E 簡便さ

Single Camera Calibration

Single Camera Calibration

Extrinsic Parameters Intrinsic Parameters

f : focal length

k : scale of the pixel coordinate axis

Extrinsic Parameters t s c a a ete s

R : rotation matrix t : translation vector

u ,v 0 0 : image principal point

Camera Coordinate System

Tsai’s Method

World Coordinate System World Coordinate System

Image Coordinate System

Example Calibration Pattern

Example Calibration Pattern

非平面パターン

Calibration Pattern:

平面パターン

Calibration Pattern:

Harris or Canny Corner Detector

Harris or Canny Corner Detector

手動か自動か入力画像からキャリブレーションパターン の特徴点を探し出す

カメラの内部パラメータ

カメラの内部パラメ タ

x o Z X s f x    Z X f x  



y x s s , size pixel x Z s y o Y f y    Z Y f y  



X O imagecenter o ,x oy y y Z s y Z f y



X g x y 2 1, distortion lens k k f Z f l th f llength f focal 

Calibration =

キャリブレーション（内部パラメータ）

キャリブレ ション（内部パラメ タ）



幾何変換のパラメータ推定

幾何変換

ラ

タ推定

透視投影 _{内部パラメータ}        U fk 0 o 0 X                              0 1 0 0 0 0 0 0 Z Y o fk o fk S V U y y x x image image 画像上の点や３次元空間中の点の座標を与えて、         1 0 1 0 0 S 画像上の点や３次元空間中の点の座標を与えて、 パラメータを求める、最適化問題として定式化される

キャリブレ ション（外部パラメ タ）

キャリブレーション（外部パラメータ）

ド座標系 座標系  ワールド座標系とカメラ座標系の下  t_xx, t_yy, t_zz と r_1,11,1…r_3,33,3 はカメラ外部パラメータ 外部パラメータ

キャリブレーション（全パラメータ）

キャリ

ション（全

ラ

タ）



ワールド

座標系と

画像

座標系の下で

    X ld





                ) 4 3 ( world world image image Z Y X V U P             1 world g Z S

透視投影モデルのキャリブレーション

透視投影モデルのキャリブレ ション

行列P       world image X U _行列P 自由度11 rank 3





                    ) 4 3 ( world world image image Z Y S V U P rank 3       1 world S 画像上の点 三次元空間中の点 対応点１個 画像上の点 三次元空間中の点 対応点１個 拘束２

PX

x



６点以上の対応付け から求められる

PX

x



対応点 から求められる

Pの推定の線形解法

推定

線

解法

（6 points algorithm）

• ６点以上の対応点からPを推定

• ６点以上の対応点からPを推定

n (n≧6)個の対応点から2nの方程式 は_2n×12行列 行列で書くと を す を求 を最小にする_{Pを求める} ただしp=0を除く→ とする（１１自由度） ただしp 0を除く→ とする（１１自由度） 最小二乗 最小二乗

通常の最小二乗法で微分＝０とすると 通常の最小二乗法で微分＝０とすると 明らかな解p=0しか求まらない

ラグランジェの未定乗数法を使う

固有方程式 ラグランジェ乗数 pがWの固有ベクトル のとき成立 pはWの最小固有値に _{のとき成立} 対応する固有ベクトル

6 points algorithm の利点 欠点

6 points algorithm の利点、欠点



利点

• 計算コストが小さい • 数値計算的に安定 

欠点



欠点

• 最小化の目的関数が、幾何学的にな意味を持たない 

非線形解法

• 幾何学的に意味を持つ数値を最小化する • 幾何学的に意味を持つ数値を最小化する

非線形解法

非線形解法

( )T •幾何学的に意味のある誤差を最小化 画像上の観測点と投影点の誤差を最小化 T T T ( ) T •画像上の観測点と投影点の誤差を最小化 • 非線形最適化 • ニュートン法、マーカート法など • 精度は高いが、計算コストが 高い、局所解が存在する 高い、局所解が存在する • 線形解を初期値にする

透視投影行列の分解

透視投影行列の分解

Pを内部パラメータK、回転R、並進tに分解 P= = _{画像座標の傾き} M=KR K:上三角行列 部分を とすると Pの3×3の部分をMとするとM=KR K→上三角行列、R→正規直交行列 分解 と 分解 きる よって、_{QR分解でKとRに分解できる} また、Kが求まれば、

透視投影行列Pの推定まとめ

透視投影行列Pの推定まとめ

が

が



３次元座標が既知の点が必要



ワールド座標に対するカメラの位置 姿勢が



ワ ルド座標に対するカメラの位置、姿勢が

求まる

カメ

台数を増やし も 同じ

ド座標



カメラの台数を増やしても、同じワールド座標

に対するPを求めればよい

出席チェック

出席チェック



単眼カメラの幾何学的キャリブレーションにつ

いて、

1) 透視投影行列Pの自由度？ランク？何点以上あ れば求めることが可能ですか？ れば求めることが可能ですか？ 2) 紹介した透視投影行列Pを求める方法（線形、 非線形）の利点 欠点をそれぞれ述べなさい 非線形）の利点、欠点をそれぞれ述べなさい

Two-view geometry

Two view geometry

複数カメラ間のキャリブレーション

3D reconstruction Epipolar geometry Epipolar geometry E-matrix comp. F-matrix comp. H-matrix comp H matrix comp. Structure comp.

基礎行列Fのキャリブレーション

ピボラ平面

基礎行列Fのキャリブレ ション

エピボラ平面 左カメラの画像点 右カメラの画像点 from Hartley & Zisserman baseline 画像間の対応点集合から基礎行列Fを推定

ｘ

_ｘ’

エピポーラ方程式

ｘ

ｘ

x’

T

Fx=0

Fの推定：線形解法

推定 線形解法

x’

T

Fx=0

0

ただし _{P行列と同様に最小固有値に対応}

非線形解法

非線形解法

線

幾



線形解法の目的関数は幾何学的に無意味



非線形解法



非線形解法



目的関数

• エピポーララインと対応点の距離 • ステレオ復元後の再投影誤差 

ニュートン法、マーカート法など

線形解を初期値とする



線形解を初期値とする

基礎行列の分解

礎行列

分解



内部パラメータKが既知の場合

• 基礎行列Fから基本行列Eに変換 エピポール_{e、e’はどんな} 点にも対応するので O O ’ の最小値と対応する固有ベクトル →eは エピポール_{eは並進tと同じ方向(}スケールは不定₎

基礎行列の分解

基礎行列

分解

より また

エピポールを用いた平行化

epipolar pencil エピポーラペンシール from Hartley & Zisserman H エピポーラ線が平行になる変換

基礎行列から平行ステレオへ変換

基礎行列から平行ステレオへ変換

corner 視差_(disparity) 視差_(disparity) 姿勢や、、_{Bの長さが分からなくても、形状を復元できる}長 、 エピポールさえ分かれば、形状復元ができる

基礎行列Fの推定まとめ

基礎行列Fの推定まとめ

基礎 像 応 だ 未知 点 • 基礎行列は画像間の対応付けだけ（未知の点） • 基礎行列からカメラ間の相対位置、姿勢の復元 や、平行ステレオへの変換が可能 • 未校正の２枚の画像から、カメラの姿勢の復元未校正の２枚の画像から、カメラの姿勢の復元 とシーンの形状復元が可能（ただしスケール不 定） 定） • 自較正、_{uncalibrated stereo などと呼ばれる}

内部パラメ タのキャリブレ ション

内部パラメータのキャリブレーション

ゴ ズ



Tsaiのアルゴリズム

• ３次元座標既知の点から、レンズ歪みを含む内３次元座標既知の点から、レンズ歪みを含む内 部パラメータを推定 • 初期からソースコードが公開されていたため 多 • 初期からソ スコ ドが公開されていたため、多 くの人たちが利用

Tsaiのモデル

ワールド座標

カメラ座標ラ座標 座標 _{投影面座標投影面座標} 焦点距離

並進

Tsaiのモデル

スケール因子（縦横比） 歪み座標 画像座標 スケ ル因子（縦横比） 画像中心 歪み係数 サンプリング間隔 サンプリング間隔 （_CCDの幅）

回転

Tsaiのモデル

_{R 並進T 6パラメ タ} 回転_{R•並進T 6パラメータ} 焦点距離f 1パラメータ ひずみ係数_{k 1パラメータ} 画像中心 １パラメータ スケール因子 １パラメータ スケ ル因子 １パラメ タ サンプリング間隔 ２パラメータ １２パラメータの非線形最適化

例

例

入力画像 キャリブレーション後

Tsaiの方法まとめ

Tsaiの方法まとめ

• ３次元位置既知の点から内部パラメ タを推定 • ３次元位置既知の点から内部パラメータを推定 • 高次元（１２パラメータ）の非線形最適化 • あまり安定ではないが、ソースが公開されていたた めよく使われた • 最近は最近は、_{ZhangらのEasyCalibがよく使われるZhangらのEasyCalibがよく使われる} • 平面上の座標既知の格子点（平面の状態は未知） • 数枚の平面から 歪みを含む内部 外部パラメータを推定 • 数枚の平面から、歪みを含む内部、外部パラメータを推定 • 安定、精度はTsaiよりはいい • OpenCVに含まれる • OpenCVに含まれる

EasyCalib

EasyCalib

State-of-the-art calibration

 Z. Zhang: Flexible Camera Calibration By

Vi i Pl F U k O i t ti

Viewing a Plane From Unknown Orientations (1999)

• Solves correspondence problem

• Works with planar calibration padp p

格子点が直線になるように歪み補正 Homographyの推定

Calibration Software: OpenCV

Calibration Software: OpenCV

Calibration Software: Matlab

Calibration Software: Matlab

内部パラメータのキャリブレーションまとめ

内部パラメータのキャリブレーションまとめ

昔 ゴ ズ が く使われ • 昔は_{Tsaiのアルゴリズムがよく使われた} • ソースが公開 • 不安定、３次元位置既知の点が必要 • 最近は_{EasyCalibがよく使われるy} • 安定 • 使い勝手がいい使 勝手 • 平面上の格子点 • 平面の位置は未知でいい • 格子点は自動検出しやすい • 格子点検出も含めてソースが公開されている（_OpenCV）

出席チェック

出席チェック



複数カメラの幾何学的キャリブレーションにつ

いて、

• 透視投影行列Pを求める場合と基礎行列Fを求 める場合の利点、欠点を述べなさい める場合の利点、欠点を述べなさい