分類問題とベイズ決定理論

ニューラル情報処理第 06 回

分類問題とベイズ決定理論

竹内一郎

名古屋工業大学

前回の課題の解答

Ichiro Takeuchi, Nagoya Institute of Technology 2/1

クラス分類 (= パターン認識 ) 問題とは

▶

特徴ベクトル

からクラスラベル

を決定する

▶

例

文字認識

▶ x∈R^16×16:

画素値

▶ y∈ {0,1, . . . ,9}:

^{文字コード}

▶

例

遺伝子診断の例

▶ x∈R¹⁰⁰⁰⁰:

^{遺伝子発現量}

▶ y∈ {

^健康

病気

クラス分類問題の定式化

▶

誤った決定をすればコストが生じる

▶

郵便番号認識の失敗

^誤配達

▶

遺伝子診断の失敗

^副作用

^{症状の悪化}

▶

クラス分類問題はなぜ難しいのか?

▶

パターン

^{にはバラツキがある}

▶

パターンのバラツキを確率を使って表現する

▶

ベイズ決定理論

Ichiro Takeuchi, Nagoya Institute of Technology 4/1

例題 : 鮭と鱈を分類せよ

鮭 鱈

事象、確率、事前確率

▶

鮭

鱈を観測する事象をそれぞれ

とする

▶

事前確率

▶ P(ω1) = 0.4:

^{鮭が穫れる確率が}

▶ P(ω₂) = 0.6:

鱈が穫れる確率が

P(ω1), P(ω2)

などを事前確率

という

▶

あとで

事後確率

と呼ばれるもの

も出てくる

Ichiro Takeuchi, Nagoya Institute of Technology 6/1

魚を見ないで認識したら

▶ P(ω₁) = 0.4, P(ω₂) = 0.6

▶

どのような決定規則が最適か？

▶

誤分類率

誤分類数

すべての分類した数

▶

誤分類率が最小になる決定規則

{ ω₁ if P(ω₁)> P(ω₂) ω₂ if P(ω₁)< P(ω₂)

▶

誤分類率

特徴量とクラス条件付確率

▶

事前確率のみを用いて分類するのは現実的でない

▶

特徴量

長さ

色

眼の位置

ヒレの位置

▶

特徴量

にはバラツキがある

▶

特徴量

の確率分布

を考える

▶

特徴量の確率分布が鮭と鱈で異なっている

Ichiro Takeuchi, Nagoya Institute of Technology 8/1

確率の復習

▶

確率の復習

▶

確率

▶

同時確率

▶

条件付確率

▶

同時確率と条件付確率の関係

P(ω₁,x) =P(ω₁|x)p(x) =P(x|ω₁)P(ω₁) P(ω2,x) =P(ω2|x)p(x) =P(x|ω2)P(ω2)

▶

例題に戻って

▶

鮭の特徴量の分布

▶

鱈の特徴量の分布

事後確率とベイズの公式

▶

事後確率

▶

事前確率を用いたクラス分類

{ ω₁ if P(ω₁)> P(ω₂) ω₂ if P(ω₁)< P(ω₂)

▶

事後確率を用いたクラス分類

{ ω₁ if P(ω₁|x)> P(ω₂|x) ω₂ if P(ω₁|x)< P(ω₂|x)

▶

ベイズの公式

P(ω_j|x) = p(x|ω_j)P(ω_j)

p(x) , j = 1,2

Ichiro Takeuchi, Nagoya Institute of Technology 10/1

練習問題

▶

ベイズの公式を導出せよ

ベイズの公式の意味

▶

ベイズの公式

P(ωj|x) = p(x|ω_j)P(ω_j)

p(x) , j = 1,2

▶

事前確率

から事後確率

を求める方法

▶

特徴量

を観察する前後で鮭と鱈の確率がどのように 変わるか？

▶

ベイズ決定規則

{ ω₁ if P(ω₁|x)> P(ω₂|x) ω2 if P(ω1|x)< P(ω2|x)

▶

誤分類率

{ P(ω₁|x) if we decide ω=ω₂ P(ω₂|x) if we decide ω=ω₁

▶

ベイズ決定規則は誤分類率を最小にする

Ichiro Takeuchi, Nagoya Institute of Technology 12/1

ベイズ決定規則による分類

▶

ベイズ決定規則により分類を行うだけなら

特徴量の確 率

を知る必要はない

P(ω₁|x)> P(ω₂|x)

⇐⇒ p(x|ω₁)P(ω₁)

p(x) > p(x|ω₂)P(ω₂) p(x)

⇐⇒ p(x|ω1)P(ω1)> p(x|ω2)P(ω2)

▶

ベイズ決定規則の誤分類率は以下のように計算される

∫

x

P(x) min{P(ω₁|x_k), P(ω₂|x_k)}dx

▶

特徴量が離散値

をとる場合

∑K

k=1

P(x_k) min{P(ω₁|x_k), P(ω₂|x_k)}

最終課題 ( その 1)

▶

鮭と鱈である事象をそれぞれ

とし、それぞれの 事前確率が

P(ω₁) = 0.4, P(ω₂) = 0.6

であるとする. また, それぞれのクラス条件付き確率は 以下のように与えられているとする

0 0.1 0.2 0.3 0.4 0.5 0.6

20 25 30 35 40 45

Frequency

Length Salmon

0 0.1 0.2 0.3 0.4 0.5 0.6

20 25 30 35 40 45

Frequency

Length Tilesius

Ichiro Takeuchi, Nagoya Institute of Technology 14/1

最終課題 ( その 2)

1.

この問題に事前確率のみを用いた分類を行ったときの 誤分類率を求めよ

2. x= 20,25,30,35,40,45

それぞれにおいて

ベイズ識別 規則を用いると鮭と鱈どちらに分類されるか答えよ.

3. x= 20,25,30,35,40,45

それぞれに対する事後確率

を求めよ

4.

この問題にベイズ決定規則を用いた分類を行ったとき

の誤分類率を求めよ