資料置き場 hustat2017 20171020hand

統計学 第４週 確率変数

高木 真吾 北海道大学

e-mail: [email protected]

October 20, 2017

（１変数）確率変数

2

確率変数

. . . 3

離散型確率変数

. . . 4

離散型確率変数の例

. . . 5

連続型確率変数

. . . 6

連続型確率変数の例

. . . 10

累積分布関数

. . . 11

確率変数の特性

. . . 12

期待値演算E_[•]の性質

. . . 14

確認

. . . 15

練習問題１

. . . 16

確率変数の基準化

. . . 17

２変数確率変数

18

例示

. . . 20

確率変数に関する条件付き確率

. . . 21

２変数確率変数の平均・分散など

. . . 22

確認

. . . 23

練習問題₂：平均・分散・標準偏差

. . . 24

本日の課題

. . . 25

（１変数）確率変数 _{2 / 25}

確率変数

■ 確率変数：偶然的要素を伴う現象を表現するための量的表現，様々な値をとる確率が定められて いる変量

◆ 偶然的要素を伴う現象が量的変量として表現されることが多い（

_ex.

電球が切れるまでの時 間は どの程度 か？など）

■ ^{確率変数のタイプ}

◆ 離散型確率変数：とりうる値が可算集合（いくつかの特定の点）．確率関数による特徴づけ

■ 各点ごとにその値の実現しやすさが 確率関数 として与えられる．

◆ 連続型確率変数：とりうる値が非可算集合（ある区間のどこでも）．確率密度関数による特 徴づけ

■ それぞれの点の実現しやすさが 確率密度関数 として与えられる．

統計学 第４週

_{– 3 / 25}

離散型確率変数 _{Table 1:}

離散型確率変数の確率分布表 X x1 x2 · · · xk · · · 確率 _{p1 p2 · · · pk · · ·}

■ 実現値：とりうる値を_{{x1, x2, x3, . . .}}と表記する．

■ とりうる値の要素数は有限個であっても，無限個であってもよい． 確率関数 各点_xk (k = 1, 2, . . .)について以下のように定義されている．

pk≡ Pr[X = xk] k = 1, 2, . . .

確率関数の性質 各点_xk における確率関数は以下の性質をもつ． 1. pk≥ 0^， k = 1, 2, . . .

2. ^実現値がx1, x2, . . .という形で無限個あるとき，

∞

X

k=1

p_k = 1

また実現値が_x1x2, . . . , xKという形で有限個あるとき，

K

X

k=1

pk = 1

逆に，何らかの実数値の（可算）集合に対して，上の二つの性質を持つ確率関数を与えたとき，そこに実 現値をもつ離散型確率変数を定義したことになる．

統計学 第４週

_{– 4 / 25}

離散型確率変数の例

■ 例１（ベルヌーイ分布）コインを２枚投げる試行を考える．表が出ると１，裏が出ると０として，その合 計を確率変数_Xで表現する．このときの確率分布は次の表のようにまとめることができる．

Table 2:

コイン投げの確率分布表

X 0 1 2

確率 _{1/4 1/2 1/4}

■ 例２）販売されている宝くじの中から一枚を無作為にもらうという試行について考える（宝くじを買う， とも言い換えられる）．このくじは次のような表のような当選確率を持っていることが公表されてる．つ まりこのくじは当選賞金を実現値とする確率変数と考えることができ，その確率分布は次の表のようにま とめることができる

a

．

Table 3:

^{宝くじの確率分布}

名称 一等 二等 三等 四等 五等 六等 はずれ

賞金額_X ２億 １億 ₁₀₀万 ₁万 ₃千 _{300 0} 確率 _1/10⁷ _2/10⁷ _1/10⁶ _1/10⁵ _1/10² _{1/10 0.8870}

a

「一等のくじが出る」という事象と「確率変数_Xが₂億という実現値を持つ」という表現が関連付けられている．

統計学 第４週

_{– 5 / 25}

連続型確率変数

■ 連続型確率変数：実現値は{ x | − ∞ < x < ∞ }のような区間のどこか．

確率密度関数：ある連続関数_{f (x)}を用いて，確率変数_Xがある区間{ x | a < x < b } ^{のどこかで実現} する確率を以下のように表現できるとき，関数_{f (x)}を確率密度関数とよぶ．

Pr[a < X < b] = Z b

a

f (x)dx

確率密度関数の性質：確率密度関数は以下の性質をもつ．

1. f (x) ≥ 0^， x ∈ (−∞, ∞)：任意の点において密度関数は非負． 2. ^確率変数X ^が区間{ x | − ∞ < x < ∞ }のどこかで実現するとき，

Z ^∞

−∞

f (x)dx = 1

また確率変数_X が区間 { x | α < x < β }のどこかでしか実現しないとき， Z β

α

f (x)dx = 1

逆に，何らかの実数値の（非可算）集合に対して，上の二つの性質を持つ密度関数を与えたとき，そこに 実現値をもつ連続型確率変数を定義したことになる．

統計学 第４週

_{– 6 / 25}

区間ごとにまとめた密度関数：ヒストグラム

dx

f (x)

x

1

x

2

x

3

x

4

■ ^{曲線は密度関数}

■ 区間の幅：

_dx

■ それぞれの区間ごとの高さ（相対度数）：

f (x)

■ それぞれの区間ごとの確率＝面積の大き さ：

_{f (x)dx}

■

_x

1^，

x

2^，

x

3^，

x

4^{を含む区間の確率：}

f (x

1

)dx+f (x

2

)dx+f (x

3

)dx+f (x

4

)dx

統計学 第４週

_{– 7 / 25}

幅 dx を小さくすると

dx

f (x)

x

1

x

2

x

3

x

4

■ 次第に背後の曲線＝密度関数に近づいて いく

統計学 第４週

_{– 8 / 25}

幅 dx を極限まで小さくすると

dx

f (x)

x

1

x

2

x

3

x

4

■ ヒストグラムと密度関数を同一視できる

■ このとき区間_{(x1, x4)}のどこかで実現する確 率は，この区間に対応する縦棒を足し上げて

X

x∈(x₁,x₄)

f (x)dx

これは_dxが十分小さいとき，以下のように積 分を用いて表現されるものであったことを思 い出してほしい

X

x∈(x₁,x₄)

f (x)dx^dx→0−→ Z x₄

x₁

f (x)dx

■ 区間_{(x1, x4)}のどこかで実現する確率 Pr[x1≤ X ≤ x4] =

Z x₄ x₁

f (x)dx

統計学 第４週

_{– 9 / 25}

連続型確率変数の例

■ 例

₃

（一様分布）：確率変数

_X

は区間

_{(a, b)}

で均等な実現パターンを考える

◆ 密度関数：

f (x) = 1/(b − a) for a < x < b, = 0 for x ≤ a, x ≥ b.

◆ 確率：１．

Pr[ a < X < b ]

^，２．

Pr[ a < X < (b + a)/2 ]

■ ^{図示してみると左端が}

a

^，右端が

b

^で高さが

1/(b − a)

^の長方形

◆ １．の確率は定義から１であるが，面積を求めても１

◆ ２．の確率は面積を求めると０．５である

■ 例

₄

（正規分布）正規分布に従う確率変数

_X

は，ある区間

_{(a, b)}

で

_,

どういう確率で実現するか

◆ ^確率１．

Pr[ −2 < X < 0 ]

^，２．

Pr[ X > 2 ]

■ つまり図の面積で表現される．

-4 -2 0 2 4

0.00.10.20.30.4

正規分布に従う確率変数の密度関数

x

y1

■ 密度関数による表現は後述．

■ 例

₅

（指数分布） ある正数

_λ

を用いて，確率変数

_X

の密度関数が次の通りに与えられるものと する．

f (x) =

 0 x ≤ 0

λe

^−λx

x > 0 e = 2.7182 . . .

このとき

Pr[a < X < b] =

Z

^b

a

λe

^−λx

dx = ^h −e

^−λx

ⁱ

b a

^{= e}

−λa

− e

^−λb

この密度関数は上の性質を満たしていることも容易に確認できる．

a

a

この確率変数の取りうる範囲は_{[0, ∞)}の区間である．密度関数の非負性は自明であるし， Z ^∞

0

λe^−λxdx= [ −e^−λx]^∞0 = 0 − (−1) = 1

より積分して１という性質も満たされている．

統計学 第４週

_{– 10 / 25}

0.1 累積分布関数

累積分布関数

■ ^{累積分布関数（}

cumulative distribution function; CDF

）は次のように定義される．

F (x) = Pr[X ≤ x] · · · ·

¹

■ 例

₁

（つづき）このとき累積密度関数（

_CDF

）は

F (x) =



 



 



0 x < 0

1/4 0 ≤ x < 1

3/4 1 ≤ x < 2

1 x ≥ 2

■ 例

₃

（一様分布：つづき）累積分布関数は，

F (x) = Pr[X ≤ x] =

Z

^x

a

1

b − a ^{dt =}

      

■ ^例

5

（指数分布：つづき）累積分布関数は，

F (x) = Pr[X ≤ x] =

Z

x

−∞

λe

^−λt

dt =

      

統計学 第４週

_{– 11 / 25}

0.2 確率変数の特性

確率変数の特性

■ データの特性を知るために「平均値」や「分散（標準偏差）値」を求めた．

■ 確率変数についてもその特性を知るために「期待値」演算を考える

■ 期待値の演算

◆ 『確率変数の取りうる値』に，その起きやすさである『確率』というウェイトをかけてその 総和を求めたもの．

■ 『どういう値が起きやすいか』の一つの表現．

◆ 確率変数

_X

そのものや，関数

_g(•)

によって変換した

_g(X)

に対して定義する

E _{[X] =}

 P

∞

k=1

^x

^k

^{· p}

^{k 離散型確率変数}

R

^∞

−∞

x · f (x)dx

^{連続型確率変数}

E _{[ g(X) ] =}

 P

^∞

k=1

^g(x

^k

^{) · p}

^{k 離散型確率変数}

R

∞

−∞

g(x) · f (x)dx

^{連続型確率変数}

■

_{g(X) = X}

^k

_{: k}

次の積率（モーメント）と呼ばれる．

統計学 第４週

_{– 12 / 25}

確率変数の特性

■ 平均 E_[X]：１次のモーメント

■ 分散 E[{X − E[X]}²]：２次の中心モーメント（平均からの乖離の二乗）

■ 標準偏差_{ST D[X]}：分散の平方根

■ 離散型確率変数のモーメント（とりうる値：_{{x1, x2, x3. . . , }}）

◆ 平均：E_{[X] =} P^∞

j=1^{xj· p(xj) ≡ µ}

◆ 分散：V[X] = E[ {X − E[X]}²] =^P∞_j=1(xj− µ)²· p(xj)

■ 連続型確率変数のモーメント（とりうる値：{x | − ∞ < x < ∞}^）

◆ 平均：E_{[X] =} R^∞

−∞x · f (x)dx ≡ µ

◆ 分散：V[X] = E[ {X − E[X]}²] =^R_−∞^∞ (x − µ)²· f (x)dx

統計学 第４週

_{– 13 / 25}

期待値演算 E _[•] の性質

■ 以下の結果は離散型，連続型を問わず成り立つ性質である．

■ 任意の実数_α，_βに対して，

E[ α + β · X ] = α + β · E[ X ]

V[ α + β · X ] = β²· V[ X ], ST D[α + β · X] = β · ST D[X] V_{[ X ] =} E_{[ X}²] − { E[ X ] }²

ただし V_[•]は，V[Y ] = E[ (Y − E[Y ])²]と定義される分散を表す演算である．

統計学 第４週

_{– 14 / 25}

確認

■ 連続型確率変数の場合， E[α + β · X] =

Z ^∞

−∞

(α + βx) · f (x)dx

= α · Z ^∞

−∞

f (x)dx + β · Z ^∞

−∞

x · f (x)dx = α · 1 + βE[X] = α + βE[X]

となる．離散型の場合は各自確認して欲しい．また

V[α + β · X] = ^E[ {α + βX − E[α + βX]}²] = E[ {β · X − β · E[X]}²]

= ^E[ β²· {X − E[X]}²] = β²· E[ {X − E[X]}²] = β²· V[X] V_{[X] =} E[ {X − E[X]}²] = E[ X²− 2X · E[X] + E[X]}²]

= ^E[ X²] − 2 · E[ X ] · E[X] + {E[X]}²= E[ X²] − {E[X]}²

統計学 第４週

_{– 15 / 25}

練習問題１

■ 例１（ベルヌーイ分布：つづき）平均：E_{[X] =         =}   ，分散： V_{[X] = E[X}²_{] − {E[X]}}²_{=         −    =}   

■ 例３（つづき）平均：

E_{[X] =} Z b

a

t · f (t)dt = Z b

a

t · ¹

b − a^{dt =}        _{= ...}

分散_:

E_[X²_{] =} Z b

a

t²· f (t)dt = Z b

a

t²· ¹ b − a^dt

V_{[X] = E[X}²_{] − {E[X]}}²₌       

■ 例５：指数分布（つづき），積分の計算がわからないときは以下の問題は省略してよい 1. 平均を求めてください（ヒント：部分積分の公式）．

E_{[X] =} Z ^∞

0

x · f (x)dx = Z ^∞

0

x · λe^−λxdx =       

2. ^分散は1/λ²になることを確認して下さい．

統計学 第４週

_{– 16 / 25}

確率変数の基準化

■ ^{ある確率変数}Xについて考える．また新しい確率変数_Zを以下のように定義する． Z = µ + σ ·^{X − E[X]}

pV[X]

■ もとの_Xがどのような平均と分散であったとしても，変換された確率変数_Zについて E[Z] = µ, V[Z] = E[ (Z − E[Z])²] = σ²

となる

■ 問題）上の結果を確認してください

■ 問題）試験受験者得点が正規分布に従うという条件のもとで，偏差値と５段階評価，１０段階評価の関係 について考察を行ってください（正規分布については後述）．

統計学 第４週

_{– 17 / 25}

２変数確率変数 _{18 / 25}

多変数確率変数

■ ここまで，実現値として，ひとつの値が観測される確率変数について考えてきた．

■ ここから，実現値として２つ以上の値が同時に観測される多次元確率変数について考える．

◆ その定義と性質１∼ １０を確認する

■ ここでは２変数の場合について詳述し，「確率変数同士の独立性」の概念を導く

■ 一般論については簡単に触れるだけにとどめる．

統計学 第４週

_{– 19 / 25}

導入例：取り出される球のうち，赤と青の数

■ 例）壺の中に７個のボールが入っている

◆ 内訳：赤２球，青３球，白２球

■ 無作為に３個同時にとりだすとき，赤球の数を_X，青球の数を_Y

◆ 必然的に白球の数は_{3 − X − Y}

■ このとき，_Xは_0,1,2，_Y は_0,1,2,3の値をとりうる

■ その実現パターンは以下の通り

Table 4:

^{２変数の確率分布表：}

Pr[X = x, Y = y]

X / Y 0 1 2 3 Pr[X = •]

2 2/35 3/35 0 0 

1 2/35 12/35 6/35 0  0 0 3/35 6/35 1/35  Pr[Y = •] 4/35 18/35 12/35 1/35 1

■ 同時確率分布（表）：二つの確率変数_X，_Y がどのように実現するか上の表．

■ 周辺確率分布（表）：他方の出方とは関係なく，一方の確率変数がどのような実現の仕方をするか

◆ _Y に注目：_Xの出方を無視し，_{Pr[Y = 0]}は0 + 2/35 + 2/35 = 4/35と求められる．これらは表の 下段．

◆ _Xについても，表の左欄にまとめられている．

◆ 一般に，起きうる値が_X：_{xi}ⁿ_i=1，_Y：_{yj}^m_j=1のとき，同時確率が_{Pr[X = xi, Y = yj]}などと与え られるとき，それぞれの周辺確率は

Pr[X = x_i] =

m

X

j=1

Pr[X = x_i, Y = y_j], Pr[Y = y_j] =

n

X

i=1

Pr[X = x_i, Y = y_j]

統計学 第４週

_{– 20 / 25}

確率変数に関する条件付き確率

■ 起きうる値が_X：_{xi}ⁿ_i=1，_Y：_{yj}^m_j=1のとき，同時確率が_{Pr[X = xi, Y = yj]}などと与えられていると する．

■ 二つの事象_A，_Bについて，事象_Aが与えられた下での，事象_Bの条件付き確率 Pr[B|A] =^{Pr[A ∩ B]}

Pr[A]

■ 事象_A：_Xが_xiとなる事象，_B：_Y が_yjとなる事象，_Xが_xiであるという条件の下で，_Y が_yjとなる という条件付き確率

a

：

Pr[Y = yj|X = xi] = ^{Pr[X = xi, Y = yj]}

Pr[X = xi] · · · ²

■ 乗法公式：

Pr[X = xi, Y = yj] = Pr[Y = yj|X = xi] × Pr[X = xi] = Pr[X = xi|Y = yj] × Pr[Y = yi]

· · · ³

■ ^{条件付き期待値：E}[Y |X]^（X^{が与えられた下での}Y ^{の条件付き期待値）}

◆ _Xがある特定の値_xiを取るという条件の下での条件付き期待値は，条件付き確率を用いて，

E_{[Y |X = xi] =}

m

X

j=1

yj· Pr[Y = yj|X = xi] · · · ⁴

と定期議され，E_{[Y |X = xi]}は_xiという水準に依存している．

◆ 一般に，E_{[Y |X]}は（_Y については和を取ることで消しているので）確率変数_Xの水準に依存する関 数であり，それ自身が確率変数となっている．

◆ 確率変数 E_{[Y |X]}の確率分布は，_Xが_{{x1, x2}, . . . , xn}の値を取りうることを考えると， E_{[Y |X]} E_{[Y |X = x1]} E_{[Y |X = x2] · · ·} E_{[Y |X = xn]}

(X) (x1) (x2) · · · (xn) 確率 _{Pr[X = x1] Pr[X = x2] · · · Pr[X = xn]}

◆ 問題）_Table4を用いて，_{Y = 1} を条件とする_Xの条件付き分布を求めてください．

axiに関して条件付き確率が定義されるなら， Pm

j=1^{Pr[Y = yj|X = xi] = 1}が成立することは容易に確認できる．

統計学 第４週

_{– 21 / 25}

0.3 ２変数確率変数の特性値

２変数確率変数の平均・分散など

■ ^性質１X^，Y それぞれの平均・分散は周辺確率のみから求めることができる

■ 性質２分散について，V[X] = E[(X − E[X])²] = E[X²] − {E[X]}²

■ 性質３E[X + Y ] = E[X] + E[Y ] ^（E[a + b · X + c · Y ] = a + b · E[X] + c · E[Y ]^）

■ ^性質４E[XY ] = E[X · E[Y |X]]

統計学 第４週

_{– 22 / 25}

２変数確率変数の期待値演算

■ 確認１− １：E_[X]を求める．

◆ 起きうる値が_X：_{xi}ⁿ_i=1，_Y：_{yj}^m_j=1のとき，同時確率は_{Pr[X = xi, Y = yj]}と記す．

◆ 期待値（平均）は，『起きうる値_×その確率』なので

E_{[X] =}

n

X

i=1 m

X

j=1

xi· Pr[X = xi, Y = yj] =

n

X

i=1

xi·





m

X

j=1

Pr[X = xi, Y = yj]



=

n

X

i=1

xi· Pr[X = xi]

■ 確認１− ２：分散 V_[X]を求める．

◆ 分散は，散らばりの尺度で，「平均からの乖離の二乗」についての平均 V_{[X] =} E[(X − E[X])²] =

n

X

i=1 m

X

j=1

(xi− E[X])²· Pr[X = xi, Y = yj]

=

n

X

i=1

(xi− E[X])²·





m

X

j=1

Pr[X = xi, Y = yj]



=

n

X

i=1

(xi− E[X])²· Pr[X = xi]

■ 確認２：V[X] = E[(X − E[X])²] = E[X²− 2X · E[X] + {E[X]}²] = E[X²] − {E[X]}²

■ 確認３：E_{[X + Y ]}を求める．

◆ 期待値（平均）は，『起きうる値_×その確率』なので E_{[X + Y ] =}

n

X

i=1 m

X

j=1

(xi+ yj) · Pr[X = xi, Y = yj]

=

n

X

i=1 m

X

j=1

xi· Pr[X = xi, Y = yj] +

n

X

i=1 m

X

j=1

yj· Pr[X = xi, Y = yj]

=

n

X

i=1

xi·





m

X

j=1

Pr[X = xi, Y = yj]



+

m

X

j=1

yj·

n

X

i=1

Pr[X = xi, Y = yj]

!

=

n

X

i=1

xi· Pr[X = xi] +

m

X

j=1

yj· Pr[Y = yj] = E[X] + E[Y ]

■ 確認４：E[XY ] = E[X · E[Y |X]]^{を求める．}

◆ 期待値（平均）は，『起きうる値_×その確率』なので，定義より右辺の期待値は

E[X · E[Y |X] ] =

n

X

i=1

(xi· E[Y |X = xi]) · Pr[X = xi] · · · ⁵

であり，左辺の期待値も以下のように書くことができる E_{[XY ] =}

n

X

i=1 m

X

j=1

(xi· yj) · Pr[X = xi, Y = yj] =

n

X

i=1 m

X

j=1

(xi· yj) · Pr[Y = yj|X = xi] · Pr[X = xi]

=

n

X

i=1

xi·





m

X

j=1

yj· Pr[Y = yj|X = xi]



· Pr[X = xi]

=

n

X

i=1

xi· E[Y |X = xi] · Pr[X = xi] = E[X · E[Y |X]]

統計学 第４週

_{– 23 / 25}

練習問題 2：平均・分散・標準偏差

■ _Table4 を用いて以下の問いに答えてください．

◆ 確率変数_X，_Y それぞれの平均と分散・標準偏差を求めてください．

◆ E[6 · X + 10 · Y ]^が18となることを確認してください．

◆ E_{[XY ]}が_30/35となることを確認してください．

統計学 第４週

_{– 24 / 25}

本日の課題

回答を_A4用紙に記入し，次週水曜日（₁₀月₂₅日）₁₃時までにメールボックスへ提出して下さい．

■ 練習問題１（例１，例３，例５）

■ 練習問題２

統計学 第４週

_{– 25 / 25}