ベイズ統計入門

条件付確率

‹

事象Fが起こったことが既知であるという条件

の下で、Eが起こる確率を条件付確率

（conditional probability）という。

‹

定義式を変形すると、確率の乗法公式となる。

(

)

(

_{( )}

)

F

P

F

E

P

F

E

P

|

=

∩

(

E

F

) ( ) (

P

F

P

E

F

) ( ) (

P

E

P

F

E

)

P

∩

=

|

=

|

事象の独立

‹

ある事象の生起する確率が、他のある事象

が生起するかどうかによって変化しないとき、

2

つの事象は独立であるという。

‹

いま、

が互いに素である集合で、

かつ

であるとすると、

( ) (

)

(

E

F

) ( ) ( )

P

E

P

F

P

F

E

P

E

P

=

∩

=

|

k

F

F

F

₁

,

₂

,...,

Ω

=

∪

∪

∪

F

F

_k

F

_{1 2}

...

( ) (

E P E F

) ( ) (

P F P E F

) ( )

P F P

(

E F_k

) ( )

P F_k P = | _{1 1} + | _{2 2} +....+ |

ベイズの定理

‹

以上から、ベイズの定理（Bayes’ Theory）が

成立する。

（覚え方のこつ） データがFであるときにパラメータEiが得られる確率 は、データがFでかつパラメータがEiである確率を、 データがFである確率でわったもの

(

)

₍

_{) ( ) (}

(

_{) ( )}

) ( )

₍

_{) ( )}

k k i i i E P E F P E P E F P E P E F P E P E F P F E P | .... | | | | 2 2 1 1 + + + =

ベイズ定理の本質

‹ 前頁のベイズの定理の一般形において、右辺の分 母は分子の和となっている。したがって分子も知れ ば分母も知る。このとき母数を定数とみなして以下 のように略記する ‹ すなわち、パラメータの尤度×パラメータの事前分 布＝パラメータの事後分布

(

E_i F

)

P

(

F E_i

) ( )

P E_i P | ∝ |

確率変数（1）

‹

確率が定義される基礎空間Ωの要素は事象

や命題である。今、Ωの要素ωにある1つの

実数

_{xを対応させる。命題が真であるかどうか}

が観測するまで確定することのできない不確

実性を持つとき、Ωの要素と対応する

_xも同じ

不確実性を持つ。Ωについて定義された確率

関数によって

_{xについてその生起確率を定義}

でき、このような

_{xの全体をXとおき、確率変数}

（random variable）と呼ぶ。特定の値xが生起

することを

_{X=xと表す。}

確率変数（2）

‹ 実験の結果生ずるXのすべての可能な値によって 構成される集合を標本空間（sample space）と呼ぶ。 標本空間上に定義される確率を確率分布と呼ぶ。 ‹ Xの可能な値が不連続であるとき、xの分布を離散 分布（discrete distribution）という。Xが連続の値をと るとき、_{xの分布を連続分布（continuous} distribution）という。 ‹ が関数 によって表されるとき、 を

確率密度関数（probability density function）と呼ぶ。 また_{Xが連続であるとき、以下で表される} も確 率密度関数と呼ぶ。

(

X x

)

P = p

( )

x p

( )

x

( )

x f b

(

≤ ≤

)

=

_∫

( )

a f x dx b X a P

確率変数の期待値

‹ 確率変数のデータの平均値は以下で表現する。 ‹ 期待値は以下で表現する。 ( ) _{( )} ( ) ( )をとる観測値の割合 個の観測値のうち、 ： 各々の観測値の数 の取りうる値 確率変数 i x n p f X i x p i x n f i x x i i t i i t i i ˆ : : ˆ 1 1

∑

∑

= = = = ( ) ( ) ( ) ( )

_∫

( ) ( )

∫

Ψ Ψ = Ψ = dx x p x g X g E dx x xp X E 標本空間の取りうる値 :

確率変数の分散

‹ 確率変数の分散は以下で表現する。確率変数の分 散とは、確率変数_{Xが平均してE(X)からどれくらい離} れているかを示す。_{Xの分布のばらつきともいえる。} ‹ を標準偏差とよぶ。 ‹ 以下で表現することもある。

( )

{

(

( )

)

2

}

( )

₂

(

( )

)

2 X E X E X E X E X V = − = −

( )

X V

( )

( )

( )

x _x x X V X V X E σ σ μ ≡ ≡ ≡ 2

多変量分布

‹ 基礎空間の要素を1つの確率変数ではなく、複数の 確率変数の組として表すことがある。この場合の標 本空間は2次元ユークリッド空間の部分空間である。 ‹ X、Yの分布が によって表現されるとき、xとy が連続であればその生起確率は以下で表現し、 を同時確率密度関数と呼ぶ。

( )

x y p ,

(

)

{

X Y ∈R

}

=

_∫∫

p

( )

x y dxdy P R , ,

( )

x y p ,

周辺分布

‹ 以下の時、 を周辺確率密度関数といい、この関 数が示す分布を周辺分布（marginal distribution）と 呼ぶ。

( )

x p

( )

( )

( )

_∫

( )

∫

∫ ∫

∞ ∞ − ∞ ∞ − = = ≤ ≤ dy y x p x p dydx y x p dx x p b X a y b a b a , , すなわち、 となる確率は、 の値にかかわらず *ある変数の周辺分布はもう一つの変数を積分消去す ることによって得られる。これを周辺化とよぶ。

条件付分布

‹ が与えられた時の の条件付分布の確率密 度関数は以下で与えられる 1 1 y Y = Y₂

(

)

(

_{( )}

)

1 2 1 1 2 , y p y y p y y p =

共分散

‹ 2変数 の同時確率密度（同時分布）が与えられ ている時、 とすると、以下をそれぞ れ共分散、相関係数と呼ぶ 2 1,Y Y

( )

_{1 2}

( )

₂ 1 = E Y ,μ = E Y μ

(

)

(

(

( )

)

(

( )

)

)

(

)(

) (

)

(

)

( ) ( )

₁ 1 2 ₂ 2 1 2 1 2 2 1 1 2 2 1 1 2 1 , , , Y V Y V Y Y Cov dy dy y y p y y Y E Y E Y E Y E E Y Y Cov = − − = − − =

∫ ∫

−∞∞ ∞ ∞ − ρ μ μ

ベイズ定理のまとめ

(

)

(

_{( )}

) ( )

(

)

(

_{( )}

) ( )

(

) ( )

( ) (

) ( ) (

) ( )

(

)

(

)

( )

( )

(

|

) ( )

: (marginallikelihood) on) distributi (prior : d) (likelihoo : | function) density (posterior : | | | , | | | | | 周辺尤度 事前分布 尤度 事後密度関数 θ θ θ θ θ θ θ θ θ θ θ θ θ θ θ θ θ θ

∫

= = = ∝ = = d P y L y M P y L y P P y P y P y P y P P y L y M P y L y P y P P y P y P 要は分子をパラメータに関して積分 ＝データyの得られる尤度

1変量正規分布のベイズ推定

‹ 正規分布からＮ個のランダムサンプリング ‹ _分散σ2を既知とし、μを推定する ‹ 尤度関数 ‹ 事前分布

(

2

)

. . . 1,..., y ~ N μ,σ y _n i i d

(

)

(

)

⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− −} ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ =

∑

= n i i n n y y y p 1 2 2 1 2 1 exp 2 1 ,..., μ σ πσ μ

(

)

( )

(

)

_⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ₋ − = ₂ 0 2 0 0 2 0 0 2 exp 2 1 , ~ σ μ μ πσ μ σ μ μ p N

補足：iidとは

‹

Independently and identically distributed:独立

に同一の分布に従うの意味。次のように用い

る

(

2

)

, i.i.d. ~ N μ σ Y_i

1変量正規分布のベイズ推定（続き）

‹ 事後分布（事前分布と尤度関数をかける）

( ) (

)

( )

(

)

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

(

)

の事後平均をさす は ここでμ μ σ μ μ σ μ σ μ μ μ μ μ μ σ μ σ μ μ μ μ μ μ ' 2 ' 2 ' 2 1 2 2 0 2 0 2 2 2 2 2 2 2 1 2 2 0 2 0 1 1 2 exp 2 2 exp 1 2 2 exp ,..., ,..., ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ₋ − ∝ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ₋ − − − ∝ − + − = − + − = − + − = − ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ₋ − − − ∝ • ∝ ≡

∑

∑

∑

∑

∑

= = n i i i i i n i i n n y y n s n y n y y y y y y y y y p p y y p y p

1変量正規分布のベイズ推定（続き）

‹ 事後分布（続き） ( ) ( ) データ精度 事前精度 データ精度 事前精度 事後平均＝ データ精度） （事後精度＝事前精度 の逆数） 精度表示（精度＝分散 均を事前平均へ縮約） 縮約推定（データの平 + • + • + + = + + = => = = ⎪ ⎪ ⎪ ⎪ ⎩ ⎪ ⎪ ⎪ ⎪ ⎨ ⎧ + = + = − + = + + = y n y n n n n y n y n N 0 ' ' 2 2 0 2 2 0 2 0 2 2 0 2 ' 0 2 2 0 2 0 2 0 ' 2 ' ' 1 , 1 1 1 , 1 1 1 1 1 , ~ μ γ τ γ τμ μ γ τ γ σ γ σ τ σ σ σ ω σ σ σ ω ωμ σ σ σ μ σ μ σ μ μ y

1変量正規分布のベイズ推定②

‹ _{平均μを既知とし、分散σ}2を推定する ‹ _尤度関数 ‹ _事前分布

(

)

(

)

⎟ ⎠ ⎞ ⎜ ⎝ ⎛− ∝ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− −} ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ =

∑

= v n y y y p n i i n n 2 1 2 2 1 2 exp 2 1 exp 2 1 ,..., σ μ σ πσ μ ( ) ∑ = − = n i i y v 1 2 μ

(

)

(

)

2

( )

₀ 0 0 0 2 2 2 0 0 1 2 2 2 0 0 0 2 2 , 2 exp , ~ 0 v v v v Inv v χ σ σ χ σ σ σ σ σ χ σ − = − = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∝ − +

補足：カイ二乗分布と逆カイ二乗分布

1変量正規分布のベイズ推定②

‹ 事後分布

( )

( )

( )

(

)

⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ + + + − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− +} ∝ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛− • ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ∝ + + − − + n nv v n v Inv y nv v v n v y p v n n v 0 2 0 0 0 2 2 2 0 0 2 1 2 2 2 2 2 2 2 0 0 1 2 2 2 0 2 , ~ 2 1 exp 2 exp 2 exp 0 0 σ σ χ σ σ σ σ σ σ σ σ σ σ σ

1変量正規分布のベイズ推定③

‹ μ、σ未知 ‹ 共役事前分布

(

)

(

)

( )

(

(

)

)

⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− + −} ∝ − ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ₊ − − 2 0 0 0 2 0 0 2 2 0 0 2 0 0 2 1 2 2 1 2 2 0 0 2 2 0 2 0 2 , ; , 2 1 exp , , ~ , ~ 0 σ σ μ χ μ μ σ σ σ σ σ μ σ χ σ σ μ σ μ v k Inv N k v p v Inv k N v

1変量正規分布のベイズ推定③

‹ 尤度関数と同時事後分布

(

)

( )

(

( )

)

( )

(

( ) ( )

)

( ) ( ) ( )2 0 0 0 2 2 0 0 2 0 0 0 0 0 0 1 2 2 2 2 2 2 2 2 2 2 2 0 0 2 0 0 2 1 2 2 1 2 1 ; 1 1 , ; , 1 2 1 exp 2 1 exp , 0 μ σ σ μ μ σ σ μ χ μ σ σ μ μ σ σ σ σ σ μ − + + − + = + = + = + + + = − − = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ − − = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− − + −} • ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− + −} ∝ ∑ = − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ₊ − − y n k n k s n v v n v v n k k y n k n n k k y y n s v k Inv N y n s n k v y p n n n n n n i i n n n n n n v

1変量正規分布のベイズ推定③

‹ 条件付事後分布 ‹ 周辺事後分布 ⎟⎟ ⎟ ⎟ ⎠ ⎞ ⎜⎜ ⎜ ⎜ ⎝ ⎛ + + + = ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ 2 2 0 2 2 0 2 0 2 0 2 2 1 , , ~ , σ σ σ σ σ μ σ σ μ σ μ n k n k y n k N k N y n n

(

2

)

2 2 , ~ Inv v_{n n} y χ σ σ −

多変量正規分布のベイズ推定①

‹ 尤度関数

(

)

(

)

(

) (

)

(

)

(

)(

)

∑

∑

= − − = − − − − = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− Σ} Σ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− − Σ −} Σ ∝ Σ Σ Σ Σ n i n n i n n d y y S S tr y y y y p N y 1 ' 1 1 0 0 1 2 1 1 1 ' 1 2 1 2 1 exp 2 1 exp , ,..., : , ~ , μ μ μ μ μ μ μ 分散共分散行列

多変量正規分布のベイズ推定①

‹ ∑既知 ‹ 事前分布 ‹ 事後分布

(

)

( )

(

(

) (

)

)

⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− − Λ −} ∝ Λ − 0 1 0 ' 0 0 0 2 1 exp , ~ μ μ μ μ μ μ μ p N ( )

(

)

( ) ( ) ( ) ( ) ( ) ( )

(

)

(

) (

)

⎪⎩ ⎪ ⎨ ⎧ Σ + Λ = Λ Σ + Λ Σ + Λ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− − Λ −} ∝ ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _{− Λ − + − Σ −} − ∝ Σ Σ Σ − − − − − − − − − = − −

∑

1 1 0 1 1 0 1 0 1 1 1 0 1 ' 1 1 1 ' 1 0 1 0 ' 0 2 1 exp 2 1 exp , , ~ , n y n n y y y p N y n n n n n n i n n μ μ μ μ μ μ μ μ μ μ μ μ μ μ μ

多変量正規分布のベイズ推定②

‹ ∑未知 ‹ 事前分布 ‹ 事後分布 ( ) ( ) (( ) )

(

)

_{( ) ( )} ( ) ( _{0 0}) 0 0 0 1 ' 0 0 1 0 1 2 0 0 0 0 0 , ~ , ~ 2 2 1 exp , , ; , 0 Λ − Σ Σ Σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛_{− Λ Σ − − Σ −} Σ ∝ Σ Λ Λ − − − − + + − v Wishart Inv k N k tr p v k Wishart Inv Normal d v μ μ μ μ μ μ μ μ ( ) ( ) ( )( ) ( )( ) ∑ = − − = − − + + + Λ = Λ + = + = + + + = Λ − Σ Σ Σ n i i i n n n n n n n n y y y y S y y n k n k S n v v n k k y n k n n k k v Wishart Inv y k N y 1 ' ' 0 0 0 0 0 0 0 0 0 0 0 ; , ~ , ~ , μ μ μ μ μ μ

ベイズを理解するためには

‹

ここまでの数式の導出を完全に理解するため

には、確率統計を一から丁寧にさらっていか

なくてはならない

‹

それはまるでコンピュータを使うのにマシン語

を習うようなもの

線形回帰モデルのベイズ推測

‹ モデル ‹ 事前分布 ‹ 古典的ベイズ：ハイパーパラメータを指定 ‹ 経験ベイズ：ハイパーパラメータをデータから推定 ‹ 階層的ベイズ：ハイパーパラメータに確率分布を設 定（第2段階事前分布として階層構造を形成）

( )

0, ; known ~ ; Σ Σ + = X N Y β ε ε

(

,

)

; , ハイパーパラメー ~ μ _β μ _β β N Σ Σ

( )

( )

⎩ ⎨ ⎧ Σ Σ_{β β} μ μ g f ~ ~

線形回帰モデルのベイズ推測

古典的ベイズ（Classical Bayes）

‹

共役事前分布（正規分布）がもっとも簡単

‹

望ましくない性質を与える場合あり

™ Unbounded Risk：事前分布が悪ければベイズ推 定も話しにならぬ ™ ハイパーパラメータ（事前分布パラメータ）の選択 が困難 ™ 事前分布とデータが矛盾してしまう

線形回帰モデルのベイズ推測

経験ベイズ（Emprical Bayes）

‹

回帰のパラメータと共に、ハイパーパラメータ

も推定（最尤法＝ＭＬ、モーメント法＝ＭＯＭ

など）

‹

問題点

™ ハイパーパラメータの推定に伴う不確実性を考 慮しない（小標本で問題） ™ Admissibleではない ™ 推定された事前分布の効果が漸近的にゼロへ収 束しない

線形回帰モデルのベイズ推測

階層的ベイズ（Hierachical Bayes）

‹

2段階のベイズ推定手続きを行う

‹

経験ベイズ推定のハイパーパラメータをベイ

ズで推定

‹

ハイパーパラメータに事前分布を設定（通常

は無情報事前分布、non-informative）

線形回帰モデルのベイズ推測

‹ モデル ‹ 行列表記 ‹ 尤度関数

(

)

(

)

(

0

)

を仮定） 規分布 期の誤差項（独立な正 : ル 次元パラメータベクト 1 : 次元説明変数ベクトル 1 期の : 期の従属変数 : ,..., 2 , 1 ; 2 ' ,σ N t k k t x t y T t x y t t t t t t ε β ε β × × = + = ε β + = X y

(

)

(

)

(

)(

)

⎭ ⎬ ⎫ ⎩ ⎨ ⎧_{− − −} = _π − − _{β β} β σ σ σ Y X Y X y L 2 2 T 2 2 ' 2 1 exp 2 ,

線形回帰モデルのベイズ推測

事前分布の特定化

‹

非報知的事前分布（Non-Informative Prior）

™ 一様（uniform）事前分布（省略） ™ Jeffreys事前分布（省略） ‹

共役事前分布

™ 古典的ベイズ推定 ™ 経験ベイズ推定 ™ 階層的ベイズ推定

線形回帰モデルのベイズ推測

古典的ベイズ推定

‹ σ2既知 ‹ 尤度関数 ‹ 事前分布 ‹ 事後分布

( )

( )

( )( )

(

) (

)

( )

(

β

)(

β

)

β β β β β β β β ˆ ˆ ˆ ˆ ˆ 2 1 exp 2 1 exp ' 2 ' 1 ' ' ' 2 2 ' 2 2 2 X Y X Y s Y X X X X X s σ X Y X Y σ σ y L T − − = = ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ⎥⎦ ⎤ ⎢⎣ ⎡ _{+ − −} − ∝ ⎭ ⎬ ⎫ ⎩ ⎨ ⎧_{− − −} ∝ − − − −

(

μ β

)

β ~ N ,Σ

(

)

( )

( )

( )

⎪ ⎪ ⎩ ⎪⎪ ⎨ ⎧ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _+Σ = Σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _+Σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _+Σ = Σ − − − − 1 1 ' 2 ' 1 ' 2 1 ' 2 ' ' ' 1 ˆ 1 1 , ~ β β β β β μ β μ μ β X X σ X X σ X X σ N y

線形回帰モデルのベイズ推測

リッジ回帰

‹ 前頁の式を以下の様に変形するとリッジ回帰となる

( )

y

(

X X rI

) ( ) (

X X X X rI

)

X y E v σ r I v k k k ' 1 ' ' 1 ' ' 2 2 2 ˆ 0 − − + = + = = = = Σ = β β μ μ β とすると、

線形回帰モデルのベイズ推測

経験ベイズ推定

‹

データのmarginal densityを直接利用

‹

デンジョン・ルールを直接推定

‹

事後分布のパラメータを推定（階層的ベイズ

の特殊ケース）

‹

すべて省略

線形回帰モデルのベイズ推測

階層的ベイズ推定①

‹ 事前分布 ‹ 条件付事後分布

(

)

( )

v を仮定 p ある分布、 : known ; 2 2 2 ） 事前分布のパラメータ ハイパーパラメータ（ v Ω Ω μ,v β~N

(

)

( )

( )

( )

' 1 1 2 ' 2 ' 1 2 ' 2 1 2 ' 2 ' ' ' 2 2 1 ˆ 1 1 , ~ , μ β μ β μ μ β β β = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _{+ Ω} = Σ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _{+ Ω} ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _{+ Ω} = Σ − − − − v v X X σ v X X σ v X X σ N v y ) 条件付ベイズ推定量：

線形回帰モデルのベイズ推測

階層的ベイズ推定②

‹ 階層的ベイズ推定量

( )

( )

( )

( )

( )

( )

_{( )}

( )

_{( )}

( )

(

)

(

{

(

)

}

)

(

)

(

{

(

)

}

)

(

β β

) (

β β

)

μ β β β ) ) ) ) − − = + − + + − + = = ∝ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _{+ Ω} ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ _{+ Ω} = =

∫

∫

∫

∫

− − − − X X Q dv v σ Q v σ dv v σ Q v σ dv v P v y P v P v y P y v P improper v P dv y v P v X X σ v X X σ dv y v P K K v HR ' ' 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 ' 2 1 2 ' 2 2 2 2 exp 2 exp ; 1 ˆ 1 1 2 の場合） （

線形回帰モデルのベイズ推測

階層的ベイズ推定③

‹ 前頁の式の分母の積分は解析的には評価不可能であるた め、以下のアルゴリズムを用いる ‹ 完全条件付分布とアルゴリズム

(

)

(

)

( )

(

)

{

}

{ }

(

)

( )

( )

( )

v E

( )

v y M y E M y v p y p y v p v v v v N v K,Q v Q v y v N v y M i i M i i K 2 0 2 0 2 2 2 1 0 2 2 2 1 2 0 2 0 0 ' ' 0 2 0 2 2 ' ' 2 1 , 1 , ..., , , ..., , , (ii) (i), (ii) , (i) ; 2 exp ~ , , ~ , → → Σ − Σ

∑

∑

= = − β β β β β β β β μ β β μ β β β 点推定： 、 周辺だけを見れば、 に収束 布 ストグラム）が事後分 これらの経験分布（ヒ を繰り返して、 ンプリング を逆ガンマ分布からサ を固定して、 　 からサンプリング を を固定して、 　 逆ガンマ分布　　 　　

事後分布評価

‹

モンテカルロ法

™ 棄却・受容(Accept/Reject)法 ™ MCMC（マルコフチェーンモンテカルロ）法 ‹

Gibbsサンプリング

‹

Metropolis-Hastings(M-H)サンプリング

™ ランダム・ウォーク(RW)アルゴリズム ™ 独立M-Hアルゴリズム