情報数学
中山クラス 第14週
<今日の内容>
◇第3章 ベイズ統計学の基本
3.コインの問題を考える(第13週のスライド)
4.薬の効用問題
◇達成度確認試験の予想問題と解説
4 薬の効用問題
p.96
(例)新薬の効用
5人の治験者を抽出
→
4人に効き,1人には効かない 新薬の効き具合の分布を調べよ.効き具合=抽出された1人に新薬が効く確率
確率=1(母集団全員に効く),=0(誰にも効かない)
<解説>
ベイズ統計の母数=1人の治験者に新薬が効く確率
𝜃
■尤度:
𝑓 𝐷 𝜃
「効く確率
𝜃
」のもとで,データ𝐷
(5人のうち4人に効き,1人に効かない)の起こる確率(二項分布より求まる)
𝑓 𝐷 𝜃 = 5 𝐶 4 𝜃 4 1 − 𝜃 1 , 0 ≤ 𝜃 ≤ 1
■事前分布:
𝜋(𝜃) p.96
治験するまでは効く確率
𝜃
に関する情報はない.「理由不十分の原則」より「全ての可能性は均等である」
𝜋 𝜃 =
定数(𝑘)
0 ≤ 𝜃 ≤ 1
であり,確率の総和(面積)=1であるから,事前分布
𝜋 𝜃 = 1, 0 ≤ 𝜃 ≤ 1
■事後分布:
𝜋(𝜃|𝐷) p.97
ベイズ統計の基本公式(事後分布
∝
尤度×
事前分布)より𝜋 𝜃 𝐷 ∝ 5 𝐶 4 𝜃 4 1 − 𝜃 1 × 1 ∝ 𝜃 4 (1 − 𝜃)
𝜋 𝜃 𝐷
の積分=1より,𝜋 𝜃 𝐷 = 30𝜃 4 (1 − 𝜃)
新薬が効く確率
p.97
事後分布
𝜋 𝜃 𝐷 = 30𝜃 4 (1 − 𝜃)
のグラフ𝜃 = 0.8
にピークがある
■ 分析してみよう
p.98
5人中4人に効果があった
→
効く確率が高い(経験則)事前分布
𝜋 𝜃 = 1, 0 ≤ 𝜃 ≤ 1
データ(5人中4人に効く)
事後分布
𝜋 𝜃 𝐷 = 30𝜃 4 (1 − 𝜃)
確率の計算薬が効く
→ 𝜃 ≥ 0.5
薬が効かない→ 𝜃 < 0.5
𝑃 0.5 ≤ 𝜃 ≤ 1 = 𝜋 𝜃 𝐷 𝑑𝜃 ≅ 0.89
1
平均値の計算
0.5
𝜇 = 𝜃𝜋 𝜃 𝐷 𝑑𝜃 = 5 7
1
0
■ 自然な共役分布
尤度を掛けることにより事前分布が同じ種類の事後分布 に変換されるとき,その「事前分布と尤度を自然な共役分 布」という.また,「自然共役な事前分布」と呼ぶ.
一般に,二項分布に従うデータから得られる尤度に対して,
ベータ分布は相性が良い.
事前分布(ベータ分布)
→
尤度(二項分布)→
事後分布(ベータ分布)𝜃
がベータ分布𝐵𝑒(𝛼, 𝛽)
に従う確率分布:
𝑓 𝜃 =
定数× 𝜃 𝛼−1 1 − 𝜃 𝛽−1
事前分布𝜋 𝜃 = 1
はベータ分布の𝛼 = 𝛽 = 1
の場合ベイズ統計において,モデルから得られる尤度に対して自
然な共役分布を用いることがポイントになる.
最終試験
予想問題と解説
試験範囲:全範囲
持ち込み不可
予想問題•
授業中に行った演習問題•
小テスト(2回分)及びその予想問題•
今回の予想問題(1月23日)★試験問題は上記の予想問題から出題されます.
数値は若干変更される可能性あり.
問題1<漸化式>
次の漸化式の一般解を求めよ.
𝑎 𝑛 = 4𝑎 𝑛−1 − 3𝑎 𝑛−2 , 𝑛 ≥ 2 𝑎 0 = 0, 𝑎 1 = 1
<解答例>
次のように変形する(
𝑎 𝑛 ~𝑎 𝑛−2
を左辺に集める)と右辺=0であり,同次解が一般解となる.
𝑎 𝑛 − 4𝑎 𝑛−1 + 3𝑎 𝑛−2 = 0
特性方程式
𝑎 𝑛 = 𝐾𝛼 𝑛
と仮定して,漸化式に代入し特性方程式を得る.𝐾𝛼 𝑛 = 4𝐾𝛼 𝑛−1 − 3𝐾𝛼 𝑛−2
𝛼 2 − 4𝛼 + 3 = 0
・・・ 特性方程式𝛼 = 3, 1
一般解(未定係数)
𝑎 𝑛 = 𝐾 1 3 𝑛 + 𝐾 2 1 𝑛
境界条件𝑎 0 = 𝐾 1 3 0 + 𝐾 2 1 0 = 𝐾 1 + 𝐾 2 = 0 𝑎 1 = 𝐾 1 3 1 + 𝐾 2 1 1 = 3𝐾 1 + 𝐾 2 = 1
より,𝐾 1 =, 1
2 𝐾 2 = − 1
一般解(最終)2
𝑎 𝑛 = 1
2 3 𝑛 − 1
2 1 𝑛 = 1
2 3 𝑛 − 1
2
問題2<漸化式>
次の漸化式の一般解を求めよ.
𝑎 𝑛 − 𝑎 𝑛−1 − 6𝑎 𝑛−2 = 5 𝑎 0 = 1, 𝑎 1 = 2
<解答例>
この漸化式(
𝑎 𝑛 ~𝑎 𝑛−2
を左辺に集める)では右辺≠ 0
であ るので,一般解=同次解+特解となる.先ず,同次解を求める.漸化式の右辺=0とする.
𝑎 𝑛 − 𝑎 𝑛−1 − 6𝑎 𝑛−2 = 0
特性方程式𝑎 𝑛 = 𝐾𝛼 𝑛
とおき,両辺を𝐾𝛼 𝑛−2
で割る.𝛼 2 − 𝛼 − 6 = 0
𝛼 = 3, −2
同次解
𝛼 𝑛 = 𝐴 1 ⋅ 3 𝑛 + 𝐴 2 ⋅ −2 𝑛
次に,特解を求める.𝑎 𝑛 − 𝑎 𝑛−1 − 6𝑎 𝑛−2 = 5
を満たす一つの解を求める.右辺が定数であるから
𝑎 𝑛 = 𝐵𝑛 + 𝐶
と仮定して,漸化式に代入する.𝑎 𝑛 − 𝑎 𝑛−1 − 6𝑎 𝑛−2 = 𝐵𝑛 + 𝐶 − 𝐵 𝑛 − 1 + 𝐶
−6 𝐵 𝑛 − 2 + 𝐶 = 𝐵 −6𝑛 + 13 − 6𝐶 = 5
これより,𝐵 = 0, 𝐶 = −5/6
以上より,特解は次のようになる.𝑎 𝑛 = −5/6
一般解(未定係数)=同次解+特解
𝛼 𝑛 = 𝐴 1 ⋅ 3 𝑛 + 𝐴 2 ⋅ −2 𝑛 − 5/6
境界条件より𝐴 1 , 𝐴 2
を決める.𝛼 0 = 𝐴 1 ⋅ 3 0 + 𝐴 2 ⋅ −2 0 − 5/6 = 1 𝛼 1 = 𝐴 1 ⋅ 3 1 + 𝐴 2 ⋅ −2 1 − 5/6 = 2
式を整理する.𝛼 0 = 𝐴 1 + 𝐴 2 = 11/6 𝛼 1 = 3𝐴 1 − 2𝐴 2 = 17/6
より,𝐴 1 = 13/10, 𝐴 2 = 8/15
一般解(最終)
𝛼 𝑛 = 13
10 3 𝑛 + 8
15 −2 𝑛 − 5/6
問題3<漸化式>
次の漸化式の一般解を求めよ.
𝑎 𝑛 − 5𝑎 𝑛−1 + 4𝑎 𝑛−2 = 2 𝑛 , 𝑛 ≥ 2 𝑎 0 = 1, 𝑎 1 = 4
<解答例>
まず,同次解を求める.漸化式の右辺=0とする.
𝑎 𝑛 − 5𝑎 𝑛−1 + 4𝑎 𝑛−2 = 0
特性方程式𝑎 𝑛 = 𝐴𝛼 𝑛
として,両辺を𝐴𝛼 𝑛−2
で割る.𝛼 2 − 5𝛼 + 4 = 0 𝛼 = 4, 1
同次解
𝑎 𝑛 = 𝐴 1 ⋅ 4 𝑛 + 𝐴 2 ⋅ 1 𝑛 = 𝐴 1 ⋅ 4 𝑛 + 𝐴 2
次に,特解を求める.
漸化式の右辺が
2 𝑛
であることを考慮して,特解を𝑎 𝑛 = 𝐵 ⋅ 2 𝑛
と仮定し,これが漸化式を満たすように𝐵
を決める.𝑎 𝑛 − 5𝑎 𝑛−1 + 4𝑎 𝑛−2
= 𝐵 ⋅ 2 𝑛 − 5𝐵 ⋅ 2 𝑛−1 + 4𝐵 ⋅ 2 𝑛−2
= 𝐵 ⋅ 2 𝑛−2 4 − 10 + 4 = −𝐵 ⋅ 2 𝑛−1 = 2 𝑛
これより,𝐵 = −2
特解𝑎 𝑛 = −2 ⋅ 2 𝑛 = −2 𝑛+1
一般解(未定係数)=同次解+特解
𝑎 𝑛 = 𝐴 1 ⋅ 4 𝑛 + 𝐴 2 − 2 𝑛+1
境界条件より𝑎 0 = 𝐴 1 ⋅ 4 0 + 𝐴 2 − 2 0+1 = 1 𝑎 1 = 𝐴 1 ⋅ 4 1 + 𝐴 2 − 2 1+1 = 4
式を整理する.𝑎 0 = 𝐴 1 + 𝐴 2 = 3 𝑎 1 = 4𝐴 1 + 𝐴 2 = 8
より𝐴 1 = 5
3 , 𝐴 2 = 4
一般解(最終)3
𝑎 𝑛 = 5
3 4 𝑛 + 4
3 − 2 𝑛+1
問題4<漸化式>
次の漸化式の一般解を求めよ.
𝑓 𝑛 − 2𝑓 𝑛−1 = 𝑛 − 3, 𝑛 ≥ 4 𝑓 3 = 1
<解答例>
まず,同次解を求める.漸化式の右辺=0とする.
𝑓 𝑛 − 2𝑓 𝑛−1 = 0,
特性方程式𝑓 𝑛 = 𝐾𝛼 𝑛
を代入して,両辺を𝐾𝑓 𝑛−1
で割る.𝐾𝛼 𝑛 − 2𝐾𝛼 𝑛−1 = 0 𝛼 − 2 = 0 → 𝛼 = 2
同次解𝑓 𝑛 = 𝐾 ⋅ 2 𝑛
次に,特解を求める.
漸化式の右辺
=
(𝑛
の1次式)であることを考慮して,𝑓 𝑛 = 𝐴𝑛 2 + 𝐵𝑛 + 𝐶
と仮定し,これが漸化式を満たすよ うに𝐴, 𝐵, 𝐶
を決める.𝑓 𝑛 − 2𝑓 𝑛−1
= 𝐴𝑛 2 + 𝐵𝑛 + 𝐶 − 2 𝐴 𝑛 − 1 2 + 𝐵 𝑛 − 1 + 𝐶
= 𝐴 −𝑛 2 + 4𝑛 − 2 + 𝐵 −𝑛 + 2 − 𝐶 = 𝑛 − 3
上式において,
𝑛 2
の係数比較:−𝐴𝑛 2 = 0
より𝐴 = 0
𝑛
の係数比較:4𝐴 − 𝐵 𝑛 = 𝑛
より𝐵 = −1
定数項の比較:2𝐵 − 𝐶 = −3
より𝐶 = 1
特解
𝑓 𝑛 = −𝑛 + 1
一般解(未定係数)=同次解+特解
𝑓 𝑛 = 𝐾 ⋅ 2 𝑛 − 𝑛 + 1
境界条件𝑓 3 = 𝐾 ⋅ 2 3 − 3 + 1 = 1
より𝐾 = 3
一般解(最終)8
𝑓 𝑛 = 3
8 2 𝑛 − 𝑛 + 1
---
漸化式の問題に関しては[例4.
3],[例4.
9],[例4
.
10],[例4.
11]も予想問題になります.問題5<ベイズの定理>
4人の死刑囚A,B,C,Dの中で1人だけ無作為に選ばれ,
恩赦を受ける.誰が恩赦になるか看守は知っているが,囚 人は知らない.
囚人Aが看守に「B,C,Dのうち誰かは必ず処刑されるか ら,その人の名前を教えてほしい」と頼んだ.看守はもっと もだと思って「囚人Bが処刑される」と教えた.
囚人Aは「はじめは助かる確率は
1/4
であった」が,情報を 得てから「助かるのは自分かC,Dなので,確率は1/3
に上 がった」と喜んだ.囚人Aの計算は正しいか?(ベイズの定理により囚人Aが助かる確率を計算)
---
教科書(
p.57
)の同じ問題も予想問題になります.事象を決める
事象A Aが助かる 事象B Bが助かる 事象C Cが助かる 事象D Dが助かる
事象S
B
看守が「Bが処刑される」とAに教える 求める確率𝑃(𝐴|𝑆 𝐵 )
𝑃 𝐴 𝑆
𝐵= 𝑃 𝑆
𝐵𝐴 𝑃(𝐴)
𝑃 𝑆
𝐵𝐴 𝑃 𝐴 + 𝑃 𝑆
𝐵𝐵 𝑃 𝐵 + 𝑃 𝑆
𝐵𝐶 𝑃 𝐶 + 𝑃 𝑆
𝐵𝐷 𝑃(𝐷)
恩赦を受ける囚人は無作為に選ばれる(事前情報無し)𝑃 𝐴 = 𝑃 𝐵 = 𝑃 𝐶 = 𝑃(𝐷) = 1/4
(*)
Bが助かる場合:「Bが処刑される」とは言わない.𝑃 𝑆 𝐵 𝐵 = 0
Aが助かる場合:B,C,Dのうち誰かが処刑されるので,𝑃 𝑆 𝐵 𝐴 = 1/3
CあるいはDが助かる場合:B,C,Dのなかで処刑され るのは「BまたはD」あるいは「BまたはC」であるから𝑃 𝑆 𝐵 𝐶 = 𝑃 𝑆 𝐵 𝐷 = 1/2
以上より,𝑃 𝐴 𝑆 𝐵 =
1 3 × 1 1 4
3 × 1
4 + 0 × 1
4 + 1
2 × 1
4 + 1
2 × 1 4
= 1
4
(*)となり,囚人Aの計算は間違っている.
問題6<ベイズの定理>
四つのドア(A,B,C,D)があり,どれかに賞金が隠さ れている.回答者が一つのドア(A)を選んだ.出題者 が残りのドアから,はずれのドア(C)を開けた.
回答者は①ドアAのままにする,②ドアBかDを選び直 すという2通りを選択できる.①,②のどちらが賞金を 獲得する確率が高いか?
各々の確率を計算して比較すること.
(ベイズの定理により解答すること)
---
教科書にある同じ問題(
p.61
の例)も予想問題になりま す.<解答例>
事象W ドアAが当たり 事象X ドアBが当たり 事象Y ドアDが当たり 事象Z ドアCを開く
求める確率
𝑃 𝑊 𝑍 , 𝑃 𝑋 𝑍 , 𝑃(𝑌|𝑍)
いずれが高くなるかを調べる ベイズの定理より𝑃 𝑊 𝑍 = 𝑃 𝑍 𝑊 𝑃(𝑊)
𝑃 𝑍 𝑊 𝑃 𝑊 + 𝑃 𝑍 𝑋 𝑃 𝑋 + 𝑃 𝑍 𝑌 𝑃(𝑌)
𝑃 𝑋 𝑍 = 𝑃 𝑍 𝑋 𝑃(𝑋)
𝑃 𝑍 𝑊 𝑃 𝑊 + 𝑃 𝑍 𝑋 𝑃 𝑋 + 𝑃 𝑍 𝑌 𝑃(𝑌)
𝑃 𝑌 𝑍 = 𝑃 𝑍 𝑌 𝑃(𝑌)
𝑃 𝑍 𝑊 𝑃 𝑊 + 𝑃 𝑍 𝑋 𝑃 𝑋 + 𝑃 𝑍 𝑌 𝑃(𝑌)
𝑃 𝑊 = 𝑃 𝑋 = 𝑃 𝑌 = 1/4
・・・はじめは情報がない𝑃 𝑍 𝑊 = 1/3
・・・Aが当たりであれば,はずれはB,C,D であるからCを開く確率は1/3
𝑃 𝑍 𝑋 = 1/2
・・・ Bが当たりであれば,はずれはCかDで あるから,Cを開く確率は1/2
𝑃 𝑍 𝑌 = 1/2
・・・ Dが当たりであれば,はずれはBかCで あるから,Cを開く確率は1/2
𝑃 𝑊 𝑍 =
1 3 × 1 1 4
3 × 1
4 + 1
2 × 1
4 + 1
2 × 1 4
= 2
8
(*)𝑃 𝑋 𝑍 = 𝑃(𝑌|𝑍) =
1 2 × 1 1 4
3 × 1
4 + 1
2 × 1
4 + 1
2 × 1 4
= 3
8
(*)𝑃 𝑊 𝑍 < 𝑃 𝑋 𝑍 = 𝑃(𝑌|𝑍)
より,ドアBまたはDを選び直 すほうが当たる確率が高い.問題7<ベイズの定理>
1個の壺がある.壺の中には白と赤の5個の玉が入って いる.そこから玉1個を取りだしたとき,それが赤玉であっ た(結果).壺の中に入っている赤玉の個数(仮定/原因)
の確率を求めよ.但し,壺の中にある赤玉の個数は奇数 であることが分かっている.
---
教科書にある同じ問題(
p.79
の例)も予想問題になります.<解答例>
仮定(原因):壺の中の赤玉の個数=1,3,5個
壺1[○○○○●],壺2[○○●●●],
壺3[●●●●●]
𝐻 𝑖
:壺𝑖
から玉1個取り出す.𝑖 = 1, 2, 3
結果:取りだした玉が赤玉である.𝐷
:壺から玉1個を取りだしたとき,それが赤玉である.目標:赤玉が得られたとき,それが壺
𝑖
から取り出された 確率を全ての𝑖 = 1, 2, 3
について求める.データ
𝐷
が得られたとき,その仮定が𝐻 𝑖
である確率𝑃(𝐻 𝑖 |𝐷)
を全ての𝑖 = 1, 2, 3
について求める.𝑃(𝐷|𝐻 𝑖 )
:壺𝑖
から赤玉を1個取り出す確率.𝑃 𝐷 𝐻 1 = 1/5, 𝑃 𝐷 𝐻 2 = 3/5, 𝑃 𝐷 𝐻 3 = 5/5 𝑃(𝐻 𝑖 )
:壺𝑖
が選ばれる確率(問題では与えられていない)
→
「理由不十分の原則」に基づき等確率とする.𝑃 𝐻 1 = 𝑃 𝐻 2 = 𝑃 𝐻 3 = 1/3
上記の確率を用いて目的の確率分布が求まる.𝑃 𝐻 1 𝐷 =
1 5 × 1 1 3
5 × 1
3 + 3
5 × 1
3 + 5
5 × 1 3
= 1 9
赤玉の個数
1個
3個
5個
確率
𝑃 𝐻 1 𝐷 = 1/9 𝑃 𝐻 2 𝐷 = 3/9 𝑃 𝐻 3 𝐷 = 5/9
確率の合計:1/9 + 3/9 + 5/9 = 1
問題8<事前分布,尤度,事後分布>
表の出る確率が
𝜃
である1枚のコインがある.このコインを 2回投げたとき,1回目に表,2回目に裏が出た.このとき,表の出る確率
𝜃
の事後分布に関して以下の問に答えよ.1.事後分布の式を求めよ.
2.事後分布の概略図を描け.
3.
0.5 ≤ 𝜃 ≤ 1
に対する確率を求めよ.<解答例>
■対象となる母数:表の出る確率
= 𝜃, 0 ≤ 𝜃 ≤ 1
■尤度
𝑓(𝐷|𝜃)
「表の出る確率
= 𝜃
」の下で𝐷
(表/裏が出る)が起こる確 率(条件付き確率)𝑓
表𝜃 = 𝜃 𝑓
裏𝜃 = 1 − 𝜃
■事前分布:
𝜋 𝜃 → 𝜋 0 (𝜃)
・・コインを投げる前の事前分布「表の出る確率」は
0 ≤ 𝜃 ≤ 1
の範囲で考えられる.この範 囲で𝜃
がどのように分布するかの情報はない.「理由不十分の原則」に基づいて「一様分布」する.
𝜋 0 𝜃 = 1, 0 ≤ 𝜃 ≤ 1
■「1回目に表が出た」というデータを取り込む
𝐷 1
:1回目に表が出る.コインを1回投げた後の
𝜃
の事後分布𝜋 𝜃 𝐷 1 ∝ 𝑓 𝐷 1 𝜃 × 𝜋 0 𝜃 = 𝜃 × 1 = 𝜃
規格化条件(面積=1)より,𝜋 1 𝜃 = 𝜋 𝜃 𝐷 1 = 2𝜃
2回目のコイン投げに対する事前分布となる.
■「2回目に裏が出た」というデータを取り込む
𝐷 2
:2回目に裏が出る.コインを2回投げた後の
𝜃
の事後分布𝜋 𝜃 𝐷 2 ∝ 𝑓 𝐷 2 𝜃 × 𝜋 1 𝜃 = 1 − 𝜃 × 2𝜃 = 2𝜃 1 − 𝜃
規格化条件(面積=1)より𝜋 2 𝜃 = 𝜋 𝜃 𝐷 2 = 6𝜃(1 − 𝜃)
(答え)
1.事後分布の式
𝜋 2 𝜃 = 𝜋 𝜃 𝐷 2 = 6𝜃(1 − 𝜃)
2.事後分布の概略図 板書する3.
0.5 ≤ 𝜃 ≤ 1
に対する確率𝑃 0.5 ≤ 𝜃 ≤ 1 = 6𝜃 1 − 𝜃 𝑑𝜃 = 1 2
1
0.5
問題9<事前分布,尤度,事後分布>
3人の治験者を抽出し,新薬の効用を調べたところ,2人 には効き,1人には効かないことが分かった.新薬の効き 具合の分布を調べ,以下の問に答えよ.
1.新薬の効き具合の分布を式で表せ.
2.分布の概略図を示せ.
3.
0.5 ≤ 𝜃 ≤ 1
に対する確率を求めよ.4.平均値を求めよ.
<解説>
■ベイズ統計の母数
抽出した1人の治験者に新薬が効く確率
𝜃
■尤度:
𝑓 𝐷 𝜃
「効く確率」
𝜃
のもとで,データ𝐷
(3人のうち2人に効き,1人に効かない)の起こる確率(二項分布より求まる)
𝑓 𝐷 𝜃 = 3 𝐶 2 𝜃 2 1 − 𝜃 1 , 0 ≤ 𝜃 ≤ 1
■事前分布:
𝜋(𝜃)
治験するまでは効く確率
𝜃
に関する情報はないので,理由 不十分の原則より全ての可能性は均等であるとする.𝜋 𝜃 = 𝑘
0 ≤ 𝜃 ≤ 1
であり,確率の総和(面積)=1より,事前分布
𝜋 𝜃 = 1, 0 ≤ 𝜃 ≤ 1
■事後分布:
𝜋(𝜃|𝐷)
ベイズ統計の基本公式より
事後分布
∝
尤度×事前分布𝜋 𝜃 𝐷 ∝ 3 𝐶 2 𝜃 2 1 − 𝜃 1 × 1 ∝ 𝜃 2 (1 − 𝜃 ) 𝜋 𝜃 𝐷
の積分=1より,𝑘𝜃 2 1 − 𝜃 𝑑𝜃 = 𝑘
12 = 1 → 𝑘 = 12
1 0
𝜋 𝜃 𝐷 = 12𝜃 2 (1 − 𝜃)
(答え)
1.分布の式
𝜋 𝜃 𝐷 = 12𝜃 2 (1 − 𝜃)
2.分布の概略図 次頁3.
0.5 ≤ 𝜃 ≤ 1
に対する確率𝑃 0.5 ≤ 𝜃 ≤ 1 = 12𝜃 2 1 − 𝜃 𝑑𝜃 = 11 16
1
4.平均値