08 Recent site activity KANEMURA Atsunori | AIST

201す年度前期 パターン認識

ベイ 判別 第。回

兼村厚範

パターン認識 確率 対処

デ  特徴 値 同 可能性 あ デ  → 確率 厳密 表現

2

体長 _照度

←？→

確率

デ  パターン 特徴ベク ル ： デ  クラ ：

デ  クラ 事前確率：

デ  クラ 与え 下 パターン確率 尤度：

デ  クラ 事後確率：

x ∈ _R^D ω₁, ω₂, . . . , ω^C

p_(ω^c), c = 1, . . . , C p_(x|ω^c₎

p_(ω^c_|x)

ベイ 判別1

デ  パターン　  与え 下 クラ 事後確率 最大 クラ 判別

デ  こ 誤 率

デ  全パターン い 期待値を

デ  ⇒ 期待誤 率を最小化 各パターン い 事後確率 最大 クラ を選 い

じ

ω _{= arg max}

c

p_(ω^c_|x) x

p(error|x) = 1 − max

c

p_(ω^c_{|x) = min}

c

[1 − p(ω^c|x)]

p_{(error) =} Z

Ω

p(error|x)p(x) dx

= Z

Ω

min

c

[1 − p(ω^c|x)]p(x) dx

ベイ 誤 率

デ  2クラ 判別 場合 ベイ 誤 率

–  視覚的 分布 重

p_{(error) =} Z

Ω

min

c

[1 − p(ω^c|x)]p(x) dx

= Z

Ω

min{p(ω₁|x), p(ω₂|x)}p(x) dx

ベイ 誤 率 本当 最適？

デ  決定境界を 最大 事後確率 入 替わ 点 く 異 場所 取 誤 率

ず

p_{(error) =} Z

R₁

p_(ω2|x)p(x) dx + Z

R₂

p_{(ω1|x)p(x) dx}

ベイ 判別 識別関数

デ  ベイ 判別

デ  識別関数法 　　　　　　　　　 あ

デ  ベイ 判別 識別関数を事後確率 識 別関数法 他 い

デ  実用上 対数を取 こ 多い

デ  2クラ 場合

ω _{= arg max}

c

p_(ω^c_|x) ω _{= arg max}

ω

g^ω_(x)

ω _{= arg max}

c

ln p(ω^c|x)

p_(ω1|x) > p(ω₂|x) =⇒ x ∈ ω₁ p_(ω1|x) < p(ω₂|x) =⇒ x ∈ ω₂

Quiz

デ  Q. 対数を 前 後 判別さ クラ 変 化 いこ を証明

デ  A. ［単調増加性 導く］

。

事後確率

デ  任意 入力パターン い 事後確率を計算 比較 い

デ  真 事後確率を正確 知 困難 適 当 方法 確率分布を推定 近似  

ω _{= arg max}

c

ln p(ω^c|x)

事後確率　　　を求 ？

1.  直接推定

2.  ま 事前確率 尤度を推定 ベイ 定理 計算

–  こ

–  従 事前確率 尤度 重要 特 事前確率

同 尤度 けを比較 い

10

p_(ω^c_|x)

p_(ω^c_{|x) =}

p_(x|ω^c_)p(ω^c₎ p_(x)

p_{(ω1|x) ? p(ω2|x)}

⇔ ^{p(x|ω1)p(ω1)} p_(x) ^?

p_{(x|ω2)p(ω2)} p_(x)

⇔ p(x|ω₁)p(ω₁) ? p(x|ω₂)p(ω₂)

ガウ 分布 正規分布

デ  単変量ガウ 分布 密度関数

–  平均 μ 標準偏差 σ

デ  多変量ガウス分布 密度関数

–  平均 μ 共分散行列 Σ Gauss(x|µ, σ^{2) =} √ ¹

2πσ^{2 exp}

⇢

− ¹

2σ^{2 (x − µ)}

2

"

Gauss(x|µ, Σ) = ¹

p|2πΣ| ^exp

⇢

−¹

2^{(x − µ)}

T_Σ−1_{(x − µ)}

#

1、歳男性 身長 分布

12

文部科学省 成２６ 度学校保険統計調査より作成 http://www.mext.go.jp/b_menu/toukei/chousa05/hoken/1268826.htm -10

0 10 20 30 40 50 60 70 80

145 150 155 160 165 170 175 180 185 190

身長 正規分布

尤度 1次元ガウ 分布 場合

デ  ⇒ 大小関係を比較

p(x|ω₁) = p(x|µ₁, σ₁) = Gauss(x|µ₁, σ₁²)

= ¹

p2πσ₁^{2 exp}

⇢

− ¹

2σ₁^{2 (x − µ1)}

2

#

p(x|ω₂) = p(x|µ₂, σ₂) = Gauss(x|µ₂, σ₂²)

= ¹

p2πσ₂^{2 exp}

⇢

− ¹

2σ₂^{2 (x − µ2)}

2

#

等分散1次元ガウ 分布 ベイ 判別

デ  等分散　　　 仮定 デ  ガウ 分布 対数

デ  判別則

–  プロ タイプ法そ

1じ

σ_{1 = σ2}

p(x|ω₁) = p(x|µ₁, σ), p(x|ω₂) = p(x|µ₂, σ)

ln Gauss(x|µ₁, σ²) = −¹

2 ^ln(2πσ

2_{) −} ¹

2σ^{2 (x − µ1)}

2

ln Gauss(x|µ₂, σ²) = −¹

2 ^ln(2πσ

2_{) −} ¹

2σ^{2 (x − µ2)}

2

ln p(x|ω₁) ? ln p(x|ω₂)

⇔ (x − µ₁)² ? (x − µ₂)²

が参考きプロ タイプ法 線形識別

デ  等分散ガウ 分布 ベイ 判別 線形 判別

(x − µ¹)² ? (x − µ²)²

⇔ x^{2 −} _2xµ¹ _{+ µ}²_{1 ? x}^{2 −} _2xµ² _{+ µ}²₂

⇔ x · _2(µ² − µ¹_{) + µ}²₁ − µ²₂ ? 0

⇔ w¹x + w⁰ ? 0

異分散1次元ガウ 分布

デ  判別則

–  放物線 正領域

1ず

ln Gauss(x|µ₁, σ₁²) = −¹

2 ^ln(2πσ

12^{) −}

1

2σ₁^{2 (x − µ1)}

2

ln Gauss(x|µ₂, σ₂²) = −¹

2 ^ln(2πσ

22^{) −}

1

2σ₂^{2 (x − µ2)}

2

ln p(x|ω₁) ? ln p(x|ω₂)

⇔ − ln(2πσ₁²) − ¹

σ₁^{2 (x − µ1)}

2 _{? − ln(2πσ}2

2^{) −}

1

σ₂^{2 (x − µ2)}

2

⇔ (x − m)² + c ? 0

放物線 正領域

多次元ガウ 分布 ベイ 判別

デ  共分散行列 等 け 判別則

–  プロ タイプ法 線形判別法

1。

ln Gauss(x|µ, Σ) = −¹

2 ^{ln|2πΣ| −} 1

2^{(x − µ)}

T_Σ−1_{(x − µ)}

ln p(x|ω¹) ? ln p(x|ω²) , kx − µ¹k² ? kx − µ²k² , w^Tx + w⁰ ? 0

等共分散ガウ 分布 判別境界

事前確率 効果

デ  → 判別境界を定数分 け平行移動

20

ln[p(x|ω₁)p(ω₁)] ? ln[p(x|ω₂)p(ω₂)]

⇔ ln p(x|ω₁) + ln p(ω₁) ? ln p(x|ω₂) + ln p(ω₂)

異共分散多次元ガウ 分布0

デ  判別関数

W^c _{= −}¹ 2^Σ

−1 c , w^c _{= Σ}⁻¹c µ^c,

w^c _{= −}¹ 2^µ

T c _Σ

−1

c µ^c − ¹

2 ^lnkΣck g^c(x) = ln Gauss(x|µ^c, _Σ^c)

= −¹

2 ^{ln|2πΣc| −} 1

2^{(x − µc)}

TΣ^{−c 1(x − µc)}

= x^TW^cx + wc^Tx + w^c0

異共分散多次元ガウ 分布1

22

異共分散多次元ガウ 分布2

異共分散多次元ガウ 分布し

2じ

パラメタ推定

デ  確率分布 パラメータを ータ 決 デ  → 最尤推定 ベイ 推定