画像解析論（７）　講義内容

(1)

• 画像の不変特徴量と各種特徴記述子

• SIFT，SURF，Fernsの特徴とその比較

画像解析論（７）

主な講義内容

(2)

特徴検出器と特徴記述子の評価

各種特徴検出器，検出器と特徴記述子の組合せ，および

それぞれの性能を評価した研究が複数報告されている．

検出器に関する評価項目

視点変化，スケール変化，画像回転，画像のボケ，

照明変化、等の検出への影響評価．

特徴記述子に関する評価項目

応用目的，分野毎に評価

（検出率，認識率，検索率，分類性能等）

IEEE Workshop on Feature Detectors and Descriptors: The State Of The Art and

Beyond, by Krystian Mikolajczyk, Cordelia Schmid, Jiri Matas and Tinne Tuytelaars

(3)

各種の不変特徴記述子

•平行移動に不変な特徴記述子

•回転に不変な特徴記述子

•拡大・縮小に対して不変な特徴記述子

•濃度変化に対して不変な特徴記述子



LBP,

Symmetric

Center

P),

Pattern(LB

Binary

Local



Ferns,

SURF,

SIFT,



Ferns,

SURF,

SIFT,

Polar,

-Log

moment,

Zernike



moment,

Zernike

,

HLAC

,

重心モーメント

•その他の特徴記述子



特徴

型特徴

_,

_HoG

_,

_HoF

Haar

(4)

Log-Polar写像特徴















































2 log

log

tan

)

,

(

)

,

(

)

,

(

max max max 1 2 2

r

x

y

x

r

y

x

２次元変換例

• L.Massone, G.Sandini and V.Tagliasco,“From-invariant: Topological mapping strategy for 2D shape recognition”, Computer Vision, Graphics and Image Processing, vol.30, pp.169-188 (1985) • M. J. Swain and M. A. Stricker,“Promising directions in active vision”, International Journal of

Computer Vision, vol.11, no.2, pp.109-126 (1993)

• 対数極座標画像への変換

• テンプレートの回転とスケーリングに不変な検出が可能

• 顔画像の認識等に用いられる

(5)

原点を中心とした拡大→ρ方向への平行移動

原点を中心とした回転→θ方向への平行移動

回転

拡大

元画像

            256 256 256 256 Cartesian y x           360 0 512 0 Polar -Log  





x

y

0

0 Log-Polar写像特徴

r



平行移動不変な

処理へ

(6)

dx

a

x

f

a

x

f

x

f

a

r

_N

D

N

)

(

)

(

)

.

(

)

,

.

,

(

₁

₂







₁



画像領域

：自己相関の次元，

：注目画素点，

_N

_D

_:

x

(Higher-order Local Autocorrelation;HLAC)

1

2

3

4

6

5

7

9

8

10

11

13

12

14

16

15

17

19

18

20

21

22

23

24

25 の場合）

（

相関関数マスク

2 

N

相関関数

高次局所自己相関関数(1/2)

(7)

現

分布を連結して特徴表

ブロックの数だけ度数

成．

前述の例）度数分布生

５次元

各係数毎に積算し，２

計算．

して全ての相関係数を

ブロック内の画素に対

に分割

画像を複数のブロック



(

  7 6 5 4 3 2 1 232425

度数

高次局所自己相関関数(2/2)

大津展之，“パターン認識に関する数理的研究”，電子技術総合研究所研究報告，Vol.818, (1991)

１ブロック分の度数表現例

平行移動に対して不変

画像の微視的統計量を表現

(8)

LBP-Local Binary Pattern(1/2)

の計算法

LBP

値

注目点と８近傍の画素

20 34 27 12 15 16 30 10 22

２値化

重み付け

0

1

2

4

8

16 64 32

128

10101001

Pattern

LBP



計算コストが少ない

な特徴量

濃度変化に対して不変



手法の特徴

を比較

画素値

と，その８近傍にある

注目点の画素値

_I

₍

_r

₎

_I

₍

_n

₎











)

(

)

(

if

0 )

(

)

(

if

1 r

I

n

I

r

I

n

I



169

1

8

32

128 value

LBP







(9)

表現

グラムを連結して特徴

ブロック数分のヒスト

のヒストグラム生成．

ブロック毎に

を計算．

して

ブロック内の画素に対

に分割

画像を複数のブロック



LBP

LBP-Local Binary Pattern(2/2)

ヒストグラム

LBP

ブロックに分割

LBP

特徴量

• T.Ojala,M.Pietikäinen and D.Harwood,”A comparative study of texture measures with classification based on feature distribution”,Pattern Recognition, Vol.29, No.1, pp.51-59 (1996)

(10)

Center-Symmetric LBP

値

注目点と８近傍の画素

20 34 27 12 15 16 30 10 22

２値化

重み付け

手法の特徴















else

i

n

s

_i i i



0 )

3 ,

2 ,

1 ,

0 (

0 )

(

if

1 )

(

4

)

169

1

8

32

128 value

(LBP







LBPに比べて短い符号長．勾配情報の表現．

小領域のテクスチャ表現が可能．

M.Heikkilä et al.”Description of Interest Regions with Center-symmetric Local Binary Patterns”, ICVGIP, LNCS 4338, pp.58-69, 2006

注目点を挟む対称な２点の画素値を比較

0

n

1

n

4

n

3

n

2

n

6

n

5

n

7

n

3 3 2 2 1 0

)

(

)

2 (

)

2 (

)

2 (

LBP

-CS



s

n



s

n





s

n





s

n



CS-LBPの計算法

CS-LBP= 1 + 0 ∙ 2 + 1 ∙ 2

2

+ 1 ∙ 2

3

= 13

上記の注目点のCS-LBP値は

(11)

CS-LBP特徴記述子

注目領域(Interest Point)の表現

Hessian-Affineや Harris-Affineによるコーナー検出器を利用．

（楕円領域の検出一定の大きさの円領域へ写像）

（

Hessian-Laplace, Harris-Laplaceも利用可；アフィン変換非対応）

注目点

４分割

• 注目領域を4x4のセルに分割．

• 各セル毎にCS-LBPのヒスト

グラム作成(16bins/histogram)．

• 各ヒストグラムの連結．

(4 × 4 × 16 = 256次元特徴)

• 特徴ベクトルの正規化

選択されたスケール

_注目領域

CS-LBP特徴記述子

(12)

る

毎に画像特徴を表現す

ある大きさの矩形領域

した領域を利用．

変換の基底関数に類似

Haar

の例

基底関数

(

8

8 )

Haar



の例

基底関数

₍

₈

₎

Hadamard

-Walsh



（直交基底関数の例）

（２値関数）

（多値関数）

Haar型特徴表現(1/2)

(13)

黄）

矩形領域（黒-



 









m m i j BR b YR j i y m haar

w

P

i

j

w

P

i

j

f

) , ( ) , ( ) (

:

(

,

)

(

,

)

矩形特徴量

領域の画素集合

の黄色および黒色矩形

) (

:

,

_m _haar _m m

BR

h

YR

Haar型特徴表現(2/2)

は，

算される特徴量

これらの矩形領域で計

f

_haar_(m₎

Haar型表現では，ある検出窓に対して以下のような矩形領域

を考える．

検出窓

ただし，矩形領域の型，位置，大きさは目的に応じて選択

画像P(i,j)

検出窓移動

𝑤

_𝑦

, 𝑤

_𝑏

は重み係数．(通常は1, −1)

(14)

積和画像とその性質

0 )

,

1 (

)

1 ,

(

)

,

(

)

,

1 (

)

,

(

)

,

(

)

1 ,

(

)

,

(

























IP

S

j

i

S

j

i

IP

j

i

IP

j

i

P

j

i

S

j

i

S

ただし，

計算を実行．

実際上は，以下の反復

の積和

D

C

B

A

j

i

IP

B

A

j

i

IP

C

A

j

i

IP

A

j

i

IP

,

:

)

,

(

,

:

)

,

(

,

:

)

,

(

:

)

,

(

1 1 1 0 0 1 0 0

)

,

(

)

,

(

)

,

(

)

,

(

i

₁

j

₁

IP

i

₀

j

₁

IP

i

₁

j

₀

IP

i

₀

j

₀

IP

D

の積和







領域

D

)

,

(

i

₀

j

₀

)

,

(

i

₁

j

₁

P

画像

B

D

A

C

)

,

(

i

₀

j

₀

)

,

(

i

₁

j

₁

原画像

積和画像， :

:

)

,

(

)

,

(

,

P

IP

n

m

P

j

i

IP

j n i m







j

i

間で積和計算可能

置に関わらず一定数時

矩形領域の大きさ，位

積和画像

(Integral Image)

)

,

(

i

₀

j

₁

)

,

(

i

₁

j

₀

IP

積和

(15)

• Navneet Dalal and Bill Triggs, “Histograms of Oriented Gradients for Human Detection”, Proc. of Int. Conf. on Computer Vision and Pattern Recognition, 2005

に分割

画素の重ならないセル

を

画像

_I

₍

_x

_,

_y

₎







シフト

１セル毎にブロックを

ックを構成し，

セルを単位としてブロ

)

(

p



q

素の勾配を計算

番目の各セル内の全画

)

,

(

m

n

x y y x

I

y

x

I

,





(

,

)



tan

1

各画素の濃度勾配：

セル）

（

_M



_N



例

HoG(Histogram of Oriented Gradient)

(2×2)セル

例えば，1セル：(8x8)画素など

勾配方向を

９方向量子化

し，セル内度数分布作成

:ℎ

_𝑚;𝑛

濃度変化に対して不変

セル分割例

(16)

k k ij k ij ij

h

V

h

,

~

0 .

1 ||

||

~

2









正規化

さらに特徴ベクトルを

個のブロック

合計：

₍

_M



_p



₁

₎



₍

_N



_q



₁

₎

）

番目のセルの度数分布

は

作成．

となる特徴ベクトルを

るとき，

列目のセルを先頭とす

行

番目のブロックが

)

,

(

]

,

[

; 1 ; 1 ; 1 ; 1 1 ; 1 ; ;

v

u

h

V

v

u

k

v u q v p u v p u v u q v u v u v u k







  



 



   

セル

ブロックサイズ：

画素，

セルサイズ：　　

画素，

画像サイズ：　　

2

8

48

72 

















9

40 1440

4

40 特徴ベクトル次元数：

ブロック数：　

（例）

v u

h

_;

h

u;v1 v u

h

_₁_; h_u_₁_;_v_₁ v u

h

_;

h

_u_;_v_₁

h

_u_₁_;_v h_u_₁_;_v_₁ : k V

ブロックk:

(2x2セル)

(17)

HoF(Histogram of Oriented Optical Flow)

時空間注目点特徴記述子として利用．

時間 t

ビデオ

２次元画像

_{𝑓(𝑥, 𝑦)のスケール空間表現}

𝐿 𝑥, 𝑦; 𝜎

_𝑙2

= 𝑔 𝑥, 𝑦; 𝜎

_𝑙2

∗ 𝑓(𝑥, 𝑦)

２次元画像

𝑓(𝑥, 𝑦)の時空間スケール表現

𝐿 ∙ ; 𝜎

_𝑙2

, 𝜏

_𝑙2

= 𝑔 ∙ ; 𝜎

_𝑙2

, 𝜏

_𝑙2

∗ 𝑓( ∙ )

𝑔 ∙ ; 𝜎

_𝑙2

, 𝜏

_𝑙2

=

1 (2𝜋)

3

_𝜎

𝑙4

𝜏

𝑙2

× 𝑒𝑥𝑝 −

𝑥

2

+ 𝑦

2

2𝜎

_𝑙2

× 𝑒𝑥𝑝 −

𝑡

2

2𝜏

_𝑙2

𝑔 ∙ ; 𝜎

_𝑙2

, 𝜏

_𝑙2

：時空間分離ガウス核で，

時空間２次モーメント行列から，Harris関数による注目点検出

𝜇 = 𝑔 ∙ ; 𝜎

_𝑙2

, 𝜏

_𝑙2

∗

𝐿

_𝑥2

𝐿

_𝑥

𝐿

_𝑦

𝐿

_𝑥

𝐿

_𝑡

𝐿

_𝑥

𝐿

_𝑦

𝐿

_𝑦2

𝐿

_𝑦

𝐿

_𝑡

𝐿

_𝑥

𝐿

_𝑡

𝐿

_𝑦

𝐿

_𝑡

𝐿

_𝑡2

, 　

𝐻 = det 𝜇 − 𝑘 ∙ 𝑡𝑟𝑎𝑐𝑒

3

(𝜇)

時空間注目点検出器：

(18)

• 時空間注目点

の周囲に

±𝛥𝑥, ±𝛥𝑦, ±𝛥𝑡

の領域設定

• 領域内の各画素の

オプティカルフロー(OF)

を計算．

• オプティカルフローを

18方向に量子化

• 領域全体を

８個のサブ領域

に分割

• 各サブ領域毎にオプティカルフローの

ヒストグラム計算

• このとき，

フローの大きさと注目点からの距離

に応じた

重み付け．

• 各サブ領域毎のヒストグラムを連結

Ping Wang, Gregory D. Abowd and James M. Rehg,“Quasi-Periodic Event Analysis for Social Game Retreival”, IEEE 12th_{Int. Conf. on Computer Vision(ICCV),112-119, (2009)}

18方向

ヒストグラム

× 8(サブ領域分）

正規化144次元特徴量

HoFの概要

(19)

SIFT-Scale Invariant Feature Transform

by Lowe (2004)

• D.G.Lowe, “Distinctive image features from scale-invariant key points”, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)

手法の特徴

処理の高速化

定義と

ごとのスケール特徴の

スケール空間での各点



ションの導入

テー

領域の決定とオリエン

スケールに基づく特徴



特徴量記述

に基づく

特徴領域の

_HOG(Histog

_ram

_of

_Gradient)

(20)

SIFT-処理の概要

そのスケール抽出

候補点と

索によるキーポイント

尺度空間上での局所探

DoG

L

ケール）

クセル推定（位置，ス

キーポイントのサブピ

去

エッジ上の候補点の除

値の低い候補点および

DoG

グラム作成

計算，勾配方向ヒスト

オリエンテーションの

点の検出

１）キーポイント候補

点の絞込み

２）キーポイント候補

の特徴領域の決定

３）キーポイント周り

の特徴量表現

４）キーポイント周り

(21)

y

x



スケール空間

)

,

(

x

y

SIFT-キーポイント検出(1)

局所領域Rをσ軸方向に移動させながら，

R内でDoG値の極大値を探索．

極大点が見つかった時点で，その(x,y)

座標を特徴候補点（キーポイント），

σをその画素のスケールσ

₀

とする．

新たな特徴候補点の探索．

局所領域Rを𝜎軸方向へ走査

スケール特徴に基づく特徴候補点選択

スケール空間でのDoGの局所探索

(22)

の検出

ント候補点

極大値を持つキーポイ

(

,

)

DoG

x

y





不変性）．

領域を設定（スケール

に応じた

に対し，スケール

残った候補点

去）

ジ上の候補点などを消

値の低い候補点，エッ

候補点の絞込み



)

,

(

DoG

(

y

x



円の中心：

キーポイントの位置

円の半径：

スケールの大きさ

円中心からの直線：

円内の勾配特徴の平均方向

特徴点検出例

用

題や，物体追跡への応

画像間の対応点決定問

SIFT-キーポイント検出(2)

特徴表現（後述）

（後述）

(23)

SIFT-オリエンテーション算出

• オリエンテーション

：キーポイントにおける方向．

この方向により向きを正規化：

_{回転不変性}

)

,

(

u

v



₀

p：

キーポイント

)

;

1 ,

(

)

;

1 ,

(

)

,

(

)

;

,

1 (

)

;

,

1 (

)

,

(

)

,

(

)

,

(

tan

)

,

(

)

,

(

)

,

(

)

,

(

0 0 0 0 1 2 2

































y

x

L

y

x

L

y

x

y

x

L

y

x

L

y

x

y

x

y

x

y

x

y

x

y

x

y

x

M

G G y G G x x y y x

ただし，

（勾配の強さ）

（勾配の向き）

平滑化画像：

𝐿

_𝐺

(∙; 𝜎

₀

)を参照

pでの近傍：

𝑁(𝑢, 𝑣, 𝜎

₀

)を定義

(𝑥, 𝑦) ∈ 𝑁(𝑢, 𝑣, 𝜎

₀

)に対し，

(24)

)

,

(

)

;

,

(

)

,

(

)

,

(

ˆ

)

,

(

ˆ

)

,

(

0

M

x

y

v

y

u

x

G

y

x

w

y

x

y

x

y

x













みを付けて投票．

方向のビンに以下の重

さらに，

を３６方向に量子化

ラムの作成

重み付き方向ヒストグ

勾配方向（３６方向）

0

35

10

20

30

0 .

1

8 .

0 度数

ガウス関数

:

)

;

(





₀

G

とする

のオリエンテーション

p

（キーポイントから離れるに従って，重みが小さくなる．）

(25)

SIFT-特徴量記述

• 勾配情報によるキーポイントの特徴記述

キーポイント

オリエンテーション

)

3 (



₀

ガウス窓

４分割

)

,

(

M



輝度勾配

４分割

ヒストグラムを計算．

を起点とする８方向

オリエンテーション

各ブロック毎に，

度数

８方向

度数

８方向



1 ブロック

16 ブロック



特徴量：勾配情報128次元(4x4x8) +

オリエンテーション，スケール



(26)

SURF:Speeded Up Robust Features

By Herbert Bay, Tinne Tuytelaars, and Luc Van Gool (2006)

トを不変特徴量で記述

と同様に，キーポイン

SIFT



近似処理で代用

みを

ガウス関数による畳込

計算の高速化のため，



用せず）

復的フィルタ処理を使

（ピラミッド画像，反

各点でのスケール計算

直接マスク処理による



• H.Bay,T.Tuytelaars, and L.V.Gool,”SURF:Speed Up Robust Features”,Proc. of Int. Conf. of ECCV, (2006)

• H.Bay,A.Ess, T.Tuytelaars,L.V. Gool,”SURF:Speeded Up Robust Features”, Computer Vision and Image Understanding(CVIU), vol.110,No.3,pp.346—359 (2008)

(27)

SURF – 処理の概要

くキーポイントの検出

１）ヘッセ行列に基づ

ケール特徴計算

簡易フィルタによるス

２）LoG

ンの決定

３）オリエンテーショ

量記述

特徴領域の決定と特徴

４）スケールに基づく

画像のダウンサンプリングを用いない，スケール抽出用

フィルタ群によるスケールの直接計算．

ガウス導関数の近似による処理の高速化

扇型検出器による勾配分布の最大方向選択

(28)

SURF - キーポイント検出







_



_



_



_

_















,

x

yy xy xy xx

L

Η



_x

_,



 

_,

_xy

_x

_,



 

_,

_yy

_x

_,





：

xx

L

 

x,

y

は，画像中の点



x

軽減

み処理に要する時間を

ガウス導関数との畳込



ヘッセ行列



畳込みの高速化

ガウス導関数の近似と

(Hessian注目点検出法を参照)

ガウス２次導関数による画像の畳み込み

(29)

yy

G

_xy

SURF-ガウス導関数とその近似

yy

(30)

SURF - 近似処理

• ガウス関数の畳み込みを矩形フィルタで近似

yy

G

xy

G

yy

D

xy

D









2 approx

0 .

9 det

Η



L

_xx

L

_yy





L

_xy

算

積和画像による高速計

• ヘッセ行列の固有値よりキーポイント検出



        

















) ( ) , ( ) ( ) , ( ) ( ) , ( ) ( ) , ( ) ( ) , ( ) ( ) , (

)

,

(

)

,

(

)

,

(

2 )

,

(

)

,

(

2 )

,

(

b D y x w D y x xy b D y x w D y x yy b D y x w D y x xx xy xy yy yy xx xx

y

x

I

y

x

I

L

y

x

I

y

x

I

L

y

x

I

y

x

I

L

(31)

SURF – フィルタ構造

2 .

1 



最小レベル

9

2 .

1 



フィルタサイズ

approx



9

9 

15

15 

21

21 

ルタ群

スケール特徴抽出フィ

𝐷

_𝑦𝑦

𝐷

_𝑥𝑦

-2

-1

1

0

1

0

(32)

SURF - オリエンテーション(1)

定．

半径を持つ円領域を設

の

より，３

のスケール

得られたキーポイント



dx

dy

を計算．

用いて

フィルタを

て，以下のブロック型

円領域内の各点につい

dy

dx,

ト．

平面上に各点をプロッ

)

,

(

dx

dy

(33)

SURF - オリエンテーション(2)

６０度の扇型（灰色部分）内

にプロットされている点の数

を計算

検出された扇型の向きをキーポイ

ントのオリエンテーションとする．

扇型をずらし，数の最も多い

扇型を検出．

(34)

SURF - 特徴記述(1)

方向に回転．

オリエンテーションの

のブロックに分割．

１６

４ まる円領域を４

スケール値によって決





を計算．

て

個のサンプル点につい

各ブロック内で，２５

dx,dy

オリエンテーション

キーポイント

(35)

SURF - 特徴記述(2)

徴）

　を計算．（４次元特

加算

の

ル点における

ブロック内の各サンプ



dx

dy

dx

,

|

,

|,

|

,

特徴量と定義．

ルでキーポイント

６４次元の特徴ベクト

４

４ 





(36)

パッチの可能な見え方を統計的にモデル化

（準単純ベイズ法による構成）

•非階層的で過学習なし．

•アドフォックなパッチ画像の正規化が不要．

•インプリメントが容易

• M.Özuysal, M.Calonder, V.Lepetit, P.Fua, “Fast Keypoint Recognition using Random Ferns”, accepted to IEEE PAMI, 2009

• M.Özuysal, P.Fua, V.Lepetit, “Fast Keypoint Recognition in Ten Lines of Code”, Proc. of Int. Conf. on Computer Vision and Pattern Recognition (2007)

by Mustafa Özuysal, Pascal Fua, and Vincent Lepetit (2007)

Ferns

(37)

Ferns – 処理の概要

１つのクラスに対応

１つのキーポイントが

１）モデル画像からキーポイントを抽出

２）キーポイント周辺のパッチ画像の切出し

３）切り出したパッチ画像にアフィン変換・雑音付与を

施した多数のパッチ画像生成（クラス内サンプル）

４）得られたパッチ画像から不変特徴記述子を作成

５）各クラス毎に特徴の尤度分布を構成

(38)

1

f



2

f

₃

f

_N

枚のパッチ画像

キーポイント周りのL

対の位置選択：

ダムに

各パッチ画像中でラン

N

   

はパッチ画像の値

但し， )

(

otherwise

0 if

1

_,₁ _,₂













I

f

_j

d

j

d

j 1 ,

:

d

_j 2 ,

:

d

_j

：キーポイント

}

1 ,

0 {

),

(

2 f

₁

f

₂

f

₃

f

_N

f

_i



N

ビットの

進数系列：　



k

c

k

番目のキーポイント周

りの全ての見え方を表

すクラス：

N

j

j j

,

)

|

1 ,

,

(

d

_,₁

d

_,₂





徴計算

各位置対毎に以下の特

Ferns - 特徴記述

（キーポイントは

ヘッセ行列

_{により抽出）}

(39)

Ferns - 分類器(1)

• 入力画像中の注目点の

N個の特徴より

、

事後確率が最大

になる特徴点クラスを選ぶ．

)

,

|

(

max

arg

ˆ

_i ₁ ₂ _N c i

P

C

c

f

c

i





クラスを表す確率変数

:

C

番目の特徴値

i

f

_i

:

推定

基本的処理：MAP

入力画像

特徴抽出

Ferns特徴表現

}

1 ,

0 {

),

(

f

₁

f

₂

f

₃



f

_N

f

_i



予め作成済の特徴点クラス

1

c

2

c

T

どのクラスに最も近い？

注目点

(40)

Ferns - 分類器(2)







_

 

_



N i i N N i

f

P

c

C

P

c

C

f

P

f

c

C

P

,...,

|

,...,

|

1 1 1



)

|

,

(

max

arg

ˆ

₁

₂

_N

_i

c

i

P

f

C

c

i





ベイズの定理

大化問題となる．

以下のように，尤度最

事後確率最大化問題は

上記の

を一定と仮定すると，

各クラスの事前確率

P

(

C



c

_i

)

統計モデル作成とマッチング処理を容易にするために，

最尤推定法

_{の枠組みを導入}

(41)

Ferns - 準単純ベイズ分類器の構成

うに表される．

結合確率は，以下のよ

の

象と仮定すると，

全ての特徴が独立な事

f

₁

,



,

f

_N





_







N k i k i N

C

c

P

f

C

c

f

P

1 2 1

,

,...,

|

Fern



この式に基づいて尤度最大化を行う識別器は，

単純ベイズ

分類器(Naïve Bayes Classifier)

に相当．

単純ベイズ法では，特徴間の関係を完全に無視

N個の特徴をM個のグループに分割

(

グループ内の特徴依存関係を考慮

)

サイズ：S=N/M

の特徴群に分割

準単純ベイズ分類器

(42)

M

k

f

F

_k



{

_₍_k_,₁₎

,

_₍_k_,₂₎

,



,

_₍_k_,_S₎

},



1 ,



,

ここで，





_







M k i k i N

C

c

P

F

C

c

f

P

1 2 1

,

,...,

|

Fern

Ferns

数

サイズ

特徴数

_S

_Fern

_M

_Fern

N

:

,

:

,

:





M

k

i

k

c

i

P

F

C

c

i

1 )

|

(

log

max

arg

ˆ

さらに

対数尤度

_{を考え，以下のような分類器を構成}

２進Nビット長の(2

N

_{)特徴空間を，(M×2}

S

_{)特徴空間に圧縮}

(43)

Ferns -実装法

表現

下のような度数分布で

実装上，対数尤度を以

８通りの系列が可能

1

f

_f

₂

_f

₃



0

1

1 Fern

0

1

2 Fern

1

0

1 M

Fern

S=3の場合

クラスc

_i

のパッチ

画像集合

7

6

5

4

3

2

1

0 Fern

1 Fern

2 Fern

M



Fern

1 Fern

2 Fern

M



Fer

n

1 Fer

n

2 Fern

M



クラスc

_i

の特徴

尤度分布

パッチ1 パッチL 1 L

_{各Fern値の積算}

(44)

7

6

5

4

3

2

1

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

1 c

c

₂

c

₃

c

₄

1. 各キーポイント毎の周辺パッチ画像の切り出し

2. 各パッチ画像に対する様々なアフィン変換画像の生成

3. 各キーポイント周辺の可能な見え方を１つのクラスと

して定義

4. 各クラス毎の対数尤度分布をモデル化

(例)

４つの特徴点クラスに対して、以下のような尤度分布が作成

された場合を考える．

各クラスの特徴尤度分布の学習

(45)



未知パッチ画像

1 Fern

Fern

2 Fern

M

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

1

c

2

c

3

c

4

c

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

1

c

2

c

3

c

4

c

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

7

6

5

4

3

2

1

0

1

c

2

c

3

c

4

c



尤度積算値

1

c

₂

c

₃

c

₄

クラスの選択

最大尤度を持つ











0

1

0 









1

0

0 









0

1

1 クラスの照合

2

4

3

(46)









番目の要素

の

は特徴ベクトル

ただし，

：特徴の次元数

離を定義．

に対して，特徴点間距

と

とする．

での特徴点集合を

；

対応点探索を行う画像

k

v

N

v

d

V

N

i

V

N

i

V

I

T j R i T k j R k i N k T k j R k i T j R i T T j R R i T T i T R R i R T R T R ) ( ) ( ) ( , ) ( , 1 2 ) ( , ) ( , ) ( ) ( ) ( ) ( ) ( ) (

,

)

(

)

,

(

,

1 |

,

1 |

,

v



















．

と対応関係集合を形成

は，

を満たす特徴点集合

成．

と唯一の対応関係を形

は，

を満たす特徴点

に対して

ある閾値

) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) (

}

{

,

1 ,

)

,

(

|

)

,

(

min

R i T j T T j R i T j R i T j T j R i j

N

j

T

d

T

d

T

v







特徴ベクトルによる対応点探索

判定結果：閾値Tに依存

(47)

対応点探索実験（その１）

）

画像（A

_画像（B

）

を変化

探索の閾値

による対応点探索

T



SIFT

閾値の影響実験―

―対応点決定における

画素

画像サイズ：

₆₄₀



₄₈₀

使用画像



(48)

SIFT対応点探索処理例(1)

49 .

0 

T

(49)

SIFT対応点探索処理例(2)

60 .

0 

T

(50)

SIFT対応点探索処理例(3)

70 .

0 

T

(51)

対応点探索実験（その２）

所用時間比較実験―

―各手法の結果とその

モデル画像



２４４画素

画像サイズ：　３２８



探索画像



４８０画素

４０ 画像サイズは，全て６

撮影した７枚の画像

異なる角度，距離から



(52)

対応点探索実験(実験画像）

実験画像１

実験画像２

実験画像３

(53)

実験 – SIFT(1-2)

所要時間 1284ms マッチング数 128組 所要時間 1342ms マッチング数 124組

画像解析論（７） 講義内容

• 画像の不変特徴量と各種特徴記述子

• SIFT，SURF，Fernsの特徴とその比較