I 2006/12/11

確率論 I

2006/12/11,

西岡 國雄

http://c-faculty.chuo-u.ac.jp/∼nishioka/

0

集合論の基礎

用語と記号

集合の演算

確率空間

1.1

確率空間の定義

確率空間の例

条件付き確率

確率変数

3

確率変数の平均

4

確率変数の分散と相関係数

平均と分散

共分散と相関係数

大数の法則

0 集合論の基礎

確率論では, 集合とその演算を利用すると理解が容易になる. そこで, 集合論の基 礎を論じ, 次に確率論へと進む.

0.1

用語と記号

I.

範囲を確定した物の集まり を集合

と呼ぶ. じつはこの説明は明確ではなく, 集合 ははっきり定義できない.

集合

を構成する物を 元

と呼び,

(0.1) a∈A (x

が

に属する)

という. (0.1) の否定を

(0.2) a6∈A (x

が

に属さない)

と書く.

いかなるものも元として含まない集合

を, 空集合

といい,

∅ (空集合)

とあらわす.

1 2号館11階38号室,オフィスアワー=水曜4限, [email protected]

II.

集合

にたいし,

A=B

とは,

に属する元と

に属する元とがまったく一致することをいう.

集合

が, 元

から構成されているとき,

と書く. なお

は唯一つの元

からなる集合である.

集合

の元がすべて 集合

に属するとき

と表す),

は

の部分集合

という.

0.2

集合の演算

集合

の 和集合

とは,

または

に属する元から構成された集合のこ とである. つまり

x∈A∪B ⇔ x∈A

もしくは

集合

の 共通部分

とは,

および

に属する元から構成された 集合のことである. つまり

x∈A∪B ⇔ x∈A

かつ

集合

の 差集合

とは,

には属するが

に属さない元から構成さ れた集合のことである. つまり

x∈A−B ⇔ x∈A

かつ

とくに 集合

が 集合

の部分集合であるとき, 差集合

を

の

に関する補集 合

とよぶ. もし. 考えている集合が, すべてある決まった 集合

の部分集合 となっているとき.

を 全空間 とよび,

を単に

の補集合 といい.

B^c

とかく.

例題

のとき,

A∪B={1,2,3,4,6}, A∩B={2,4}, A−B={1,3}(= B

の

に関する補集合),

の

に関する補集合).

定理

任意の集合

にたいし, つぎの等式が成立する:

(i) A∪A=A, A∩A=A,

(ii) A∪B=B∪A, A∩B=B∩A, (iii) (

A∪B)

∪C=A∪( B∪C)

, ( A∩B)

∩C=A∩( B∩C)

, (iv) (

A∪B)

∩C=( A∩C)

∪( B∩C)

, ( A∩B)

∪C=( A∪C)

∩( B∪C)

, (v) A∪ ∅=A, A∩ ∅=A, A− ∅=A, A−A=∅.

問題

定理の

をつかうと, 次の等式を証明せよ.

((A∪B)

∪C

)∪D=( A∪B)

∪( C∪D)

=A∪( B∪(

C∪D)) (( .

A∩B)

∩C

)∩D=( A∩B)

∩( C∩D)

=A∩( B∩(

C∩D)) .

1 確率空間

現代の確率論では,

まず適当な確率空間

を定義する という方法をとる.

1.1

確率空間の定義

ここで

は

個の元からなる集合

Ω ={w1, w2,· · · , wn}

であり, 事象空間

と呼ばれ, その元

は 事象

と呼ばれる.

P

は 確率測度

であり, ある集合族

上の集合関数で

i6=k

なら

⇒ P[A1∪A2∪ · · · ∪An] =P[A1] +P[A2] +· · ·+P[An] (1.1)

をみたすものである

つまり確率

は予め与えられており, 観測などから自動的に導かれる ものではない

問題

確率空間

において, 次のことを確かめよ.

(i) P[A^c] = 1−P[A], (ii) A⊂B ⇒ P[A]≤P[B]

(iii) A∩B=∅ ⇒ P[A∪B] =P[A] +P[B]. ]

1.2

確率空間の例

例題

サイコロを

回投げる. 起こり得る事象は

w1≡ {1

の目がでる

の目がでる

の目がでる

の

通りであり, 事象空間は

また, このサイコロが公正なものとすると, 確率測度

は

6, P[w2] = 1

6, · · · ,P[w6] = 1 6

となる.

2 しばしば, 事象空間”とも呼ばれる.

3 この講義では,Fとしては,常に 巾集合族= Ωの部分集合の全体 を考えるので,今後は気にしなくて良い.

4F はΩの巾集合族

F ≡ {∅,Ω, w1,· · ·, w6, w1∪w2,· · ·, w5∪w6, w1∪w2∪w3,· · · } で2⁶= 64個の集合から成っている.

問題

例題

の確率空間

で,

A≡

サイコロの目が奇数

サイコロの目が

以上

とおく. 次の確率を計算せよ.

(i) P[A∩B], (ii) P[A∪B], (iii) P[A] +P[B]−P[A∩B]. ]

例題

コインを

回投げる. 起こり得る事象は

w₁≡ {1

回目=表, 2 回目=表

回目=裏, 2 回目=表

回目=表, 2 回目=裏

回目=裏, 2 回目=裏

の

通りであり, 事象空間は

その巾集合族

は

個の集合から成って いる

ここで

(1.2)

投げたコインは必ずしも公正ではなく, 表がでる確率が

とする. このとき 確率測度

は

P[w1] =p², P[w2] =P[w3] =p(1−p), P[w4] = (1−p)²

となる.

==========上級=============

次の例の様に, 事象の数が多いときに, 確率空間をきちんと定義することは易しくない. 20 世 紀初頭にロシア人の数学者コロモゴロフ

が,

例題

で

の場合にも, 確率空間を定義できる方法

の拡 張定理)

を証明し, 近代確率論が誕生した.

例題

今度は

のコインを

回投げる. 起こり得る事象は

w1≡ {1

回目=表, 2 回目=表, 3 回目=表,

回目=表

回目=裏, 2 回目=表, 3 回目=表,

回目=表

回目=表, 2 回目=裏, 3 回目= 表,

回目=表

...

wN ≡ {1

回目=裏, 2 回目=裏, 3 回目=裏,

回目=裏

の

通りであり, 事象空間は

5 Ωの巾集合族は

F ≡ {∅,Ω, w1,· · ·, w4, w1∪w2,· · ·, w3∪w4, w1∪w2∪w3,· · ·, w2∪w3∪w4} で2⁴= 16個の集合から成っている.

6F はΩのべき集合族で2^N= 2²ⁿ 個の集合から成っている.

このように極めて多数の元からなる

を扱う場合には, (1.3) を次のように書き直した方が 分かり易くなる.

別の表記法

が表, 0 が裏を表すとして,

w∈Ω

にたいし

ここで

もしくは

(1.4)

この表記法を使うと, (1.3) は

w1= (1,1,· · ·,1), w2= (0,1,· · ·1), w3= (1,0,1,· · · ,1),· · · , wN = (0,0,· · · ,0)

となる. すると確率測度

は

w∈Ω

にたいし

ここで

表がでた回数

となる.

=======================

1.3

条件付き確率

確率空間

を与える.

にたいし, 条件付き確率

を

が起こったとして,

が起こる確率

とする. このとき

(1.6) P[A/B]≡ P[A∩B]

P[B] (ベイズの公式)

が成立している.

事象

が互いに無関係

(1.7) P[A/B] =P[A]

のとき 事象

と

は独立

という.

定理

事象

と

が独立.

(1.8) P[A∩B] =P[A]·P[B]. ¦

証明

ベエズの公式

と 独立” の定義

より

P[B] =P[A/B] =P[A].

つまり

となる.

一方

が成立していれば,

P[A/B] = P[A∩B]

P[B] = P[A]·P[B]

P[B] =P[A]

となり, 独立 の定義

が得られる.

7 P[B]6= 0とする.P[B] = 0も許す場合は,状況が大変複雑になる.

例題

先王には子供が二人おり, その内の一人が新たに王として即 位した. 新王に姉妹がいる確率を求めよ. ただし, 男女の比率は

とする.

解答.

子供が男,

子供が女 という記号を使う. 左の記号が年長者を表すとする と, 起こりえる事象は

w1≡(B, B), w2≡(B, G), w3≡(G, B), w4≡(G, G)

であるから, 確率空間は

(1.9) Ω≡{

w1, w2, w3, w4

}, P[wk] =1

4, k= 1,· · ·,4

となる.

U ≡

子供の一人が男

子供の一人が女

という記号を使う. (1.9) を考慮して

P[王に姉妹がいる] =P[V /U] =P[V ∩U]

P[U] = P[w₂∪w₃]

P[w2∪w3∪w4] = 2/4 3/4 = 2

3. 2

問題

を 例題

の確率空間とする.

(i)

事象

偶数の目がでる を

を使って表せ.

(ii)

条件付き確率

を計算せよ.

(iii)

事象

と

は独立か?

問題

を 例題

の確率空間とする.

(i)

事象

回目のコイン投げが表 を

を使って表せ.

(ii)

事象

回目のコイン投げが表 を

を使って表せ.

(iii)

事象

と

は独立か?

問題

枚は赤, 4 枚は黒の印を裏側に付けたカードがある. その

枚のカードを表側を 上にして並べ, その中からランダムに選んだ３枚のカードを順に裏返す.

A≡ {

最初に裏返したカードが赤印

番目に裏返したカードが黒印

番目に裏返したカードが赤印

とおくとき, 次の確率を計算せよ.

(i) P[A∩B], (ii) P[B], (iii) P[B∩C], (iv) P[C]. ]

例題

ウイルスによる感染の有無を検査する. この検査を市

民全員に行う ことは合理的か?

解答

医学検査は完全ではなく, 常にエラーを伴う. いまエラーの起こる確率を

(1.10)

P[検査結果が黒/実際には感染していない] = 0.05, (1.11)

とする.

ここで, 事象

を

(1.12) A≡ {

被験者が感染している

検査結果が黒

とおくと, (1.10), (1.11) は

(1.13) P[B^c/A] = 0.05, P[B/A^c] = 0.05

と表すことができる.

図

市民の分布

Step 2.

ベイズの公式

から

P[B/A] +P[B^c/A] = P[B∩A]

P[A] +P[B^c∩A]

P[A] = P[B∩A] +P[B^c∩A]

P[A]

= P[A]

P[A] = 1.

これより

(1.14) P[B/A] = 1−P[B^c/A] = 1−0.05 = 0.95.

Step 3.

次に, 市民全体での感染率は

とする

P[A] =x.

これと

の計算から,

を求めよう. ベイズの公式

を使うと,

0.95 =P[B/A] = P[B∩A]

P[A] = P[B∩A]

x ⇒ P[B∩A] = 0.95x.

0.05 =P[B/A^c] = P[B∩A^c]

P[A^c] = P[B∩A^c]

1−x ⇒ P[B∩A^c] = 0.05 (1−x).

つまり

P[B] =P[B∩A] +P[B∩A^c] = 0.95x+ 0.05 (1−x) = 0.05 + 0.9x.

Step 4.

検査の有効性

は,

Q(x) =

検査結果が黒の中で本当の感染者がいる割合

だから, その値を計算する:

Q(x) =P[A/B] = P[A∩B]

P[B] = 0.95x

0.05 + 0.9x = 19x 1 + 18x. x

にいろいろな値を入れて,

がどうなるを調べる:

x 0.1% 0.2% 0.5% 1% 2% 3% 5% 8% 10%

Q(x) 1.8% 3.7% 8.7% 16.1% 28% 37% 50% 62.3% 67.9%

上の計算結果より次の結論が得られる. :

(i)

市民全体の感染率

の場合, 検査の有効性

となり, 検査は有効では ない.

(ii)

感染率

の場合,

となり, 検査は有効である.

Step 5.(上級) このモデルの確率空間を考える. 図1で P[A∩B^c] = 0.05x, P[A∩B] = 0.95x,

P[A^c∩B] = 0.05(1−x), P[A^c∩B^c] = 0.95(1−x) (1.15)

となるが,今後の議論のため別の記号を導入する:

u1≡A∩B^c. u2≡A∩B, u3≡A^c∩B, u4≡A^c∩B^c とおくと,一人の市民の確率空間は,

Ωk≡ {u1, u2, u3, u4}, k= 1,2,· · ·, n, Pk[u1]≡0.05x, Pk[u2]≡0.95x,

Pk[u3]≡0.05 (1−x), Pk[u4]≡0.95 (1−x) (1.16)

となる. n人の市民がいるので,

Ω≡Ω1×Ω2× · · · ×Ωn,

S≡ui1×ui2× · · · ×uin, i1,· · ·, in= 1,2,3,4 (1.17)

として,

P[S] =P1[ui₁]×P2[ui₂]× · · · ×Pn[uin] とおけば, (Ω,P)が求める確率空間である. 2

2 確率変数

確率空間

を固定する.

全ての事象

にたいし実数を与える関数

を確率変数

と呼ぶ.

２つの確率変数

を考え,

は

の値,

は

の値をとるとする.

と

が 独立

とは, すべての

にたいし

(2.1) P[X(w) =aj, Y(w) =bk] =P[X(w) =aj]·P[Y(w) =bk]

が成立することである.

例題

例題

の確率空間

で 確率変数

を次のように定義する:

X(w)≡ {

1 1

回目のコイン投げが表

−1 1

回目のコイン投げが裏

{

1 2

回目のコイン投げが表

−1 2

回目のコイン投げが裏

すると,

P[X(w) = 1] =P[w₁∪w₃] =P[w₁] +P[w₃] =p²+p(1−p) =p, P[X(w) =−1] =P[w2∪w4] =P[w2] +P[w4]

=p(1−p) + (1−p)²= 1−p,

P[Y(w) = 1] =P[w1∪w2] =P[w1] +P[w2] =p²+p(1−p) =p, P[Y(w) =−1] =P[w3∪w4] =P[w3] +P[w4]

=p(1−p) + (1−p)²= 1−p (2.3)

となる.

問題

上の

で述べた確率変数

は独立である. 実際に

を計算し, 独立であることを確かめよ.

問題

例題

で述べたコインを２回投げ,

(2.4) Z(w)≡

出た表の数

円

だけ賞金がもらえる. この確率変数

を

の

を使って表せ.

また次の確率を計算せよ.

(i) P[Z(w) = 200], (ii) P[Z(w) = 100], (iii) P[Z(w) = 0]. ]

==========上級=============

例題

つぎに, 例題

の確率空間

で, 確率変数

を次で定 義する.

(2.5) X_k(w)≡

{

1 k

回目のコイン投げが表

−1 k

回目のコイン投げが裏

この場合にP[Xk(w) =±1]の確率を計算してみよう: (1.4)の表記法を使う. 数学的帰納法を使えば P[Xk(w) = 1] =P[{w∈Ω :w^(k)= 1}] = X

w∈Ω,w^(k)=1

P[w] =p

P[Xk(w) =−1] =P[{w∈Ω :w^(k)= 0}] = X

w∈Ω,w^(k)=0

P[w] = 1−p

が簡単に証明できる. ¦

例題

の確率変数

にたいし, 新しい確率変数を

(2.6) S_k(w)≡

{

0 k= 0

X₁(w) +· · ·+X_k(w) 1≤k≤n.

この確率変数は標準ランダム・ウォークrandom walkと呼ばれ,応用上,重要なものである. ¦

問題

項分布).

の

にたいし,

P[Sk(w) =j] =kC_(k+j)/2p^(k+j)/2(1−p)^(k−j)/2,

ここで

かつ

は偶数

となることを示せ. ( (2.7) の右辺は

項分布

と呼ばれる. )

=======================

3 確率変数の平均

確率変数を特徴づける数値はいろいろあるが, 特に 平均 が重要である.

定義

の値をとる確率変数

にたいして,

E[X(w)]≡a₁P[X(w) =a₁] +a₂ P[X(w) =a₂] +· · ·+a_n P[X(w) =a_n]

を

の平均

と呼ぶ.

例題

例題

で定義された確率変数

の平均を求める. (2.3) を使うと

= 1·p+ (−1)·(1−p) = 2p−1. ¦

8 しばしば,期待値expectationとも呼ばれる.

例題

次の賭

を行う:

G:

サイコロを

回投げ, 出た目

円の賞金を獲得 このとき, 賭

の参加料を幾らに設定

すれば公平か?

解答

例題

の確率空間

を考えると, 賭

で得られる賞金の額は

のとき

と表現できる.

で述べる

の強大数の法則 より

n

を十分大きな数とする. 賭

が

回実施されたとき, 賞金の支払い総額は

に近づく

が判っている. これより 賭

の参加料 は

E[Z(w)] = 100·P[Z(w) = 100] +· · ·+ 600·P[Z(w) = 600]

= 100·1

6 +· · ·+ 600· 1

6 = 2100

6 = 350

円 に設定すれば, 主催者/参加者の両者に対し公平である.

一般に, 平均の計算は易しくない. その計算を少しでも容易にするために, 次の補題がある.

補題

を確率変数,

を定数とする.

(i) E[

a X(w) +b Y(w)] =aE[X(w)] +bE[Y(w)].

(ii)

定数

にたいしては,

(iii) X(w)

と

が独立なら

定義

成功と失敗の２つの結果しかない試行を ベルヌイ試行 と呼ぶ.

ベルヌイ試行は大変単純だが, 実は広く応用されている:

例題

有る工場は注射薬を生産している. この注射薬は全製品の検査が必要だか, 検査費 用が高額なので検査回数を減らしたい. どのような方法があるか?

解答

注射薬の生産数を

個とする. まず

検査方法

全製品から個別に検査用のサンプルを採取し, それを検査する

回数=N

一方,

検査方法

とし, 全製品をそれぞれ

個ずつからなる

個のグ ループ

に分ける.

(ii) G1

に属する製品から検査用のサンプル

個を採取し, その

個を混ぜ合わ せて, あたらしい検査用のサンプル

を作る.

(iii) S1

が検査に合格すれば,

に属する製品は合格

不合格なら,

G1

に属する全製品を再検査（検査回数= 1 + k).

(iv)

グループ

についても

の手順を繰り返す.

9 運営費用は考えない.

Step 1.

発見的的思考: 定性的な状況を把握するためには, 極端な例を考えることがしばしば有 効である. 極端な二つの場合を考えてみよう.

Case 1:

全製品が合格するとき,

検査方法

検査回数=N 検査方法

検査回数=k となり, 検査方法

の回数

検査方法

の回数 である.

Case 2:

全製品が不合格なとき,

検査方法

検査回数=N

検査方法

検査回数=r

となり, 検査方法

の回数

検査方法

の回数 である.

Step 2.

不良品の発生率を

とし, 前述の

と

でどちらが起こりやすい か計算しよう.

グループ

の検査回数を

とすると,

{

1

サンプル

が合格

1 +k

サンプル

が不合格のとき

ここで, サンプル

が合格するには,

個の製品がすべて良品でなければならないので サンプル

が合格する確率

また

サンプル

が不合格となる確率

である. 確率変数

は

か

の２つの値しかとらないベルヌイ試行で,

Step 3.

グループ

の検査回数を

グループ

の検査回数を

とする.

Y1(w),· · ·, Yr(w)

はそれぞれ独立で同分布の確率変数なので,

検査方法

での検査回数の平均 とおくと

R(q, k) =E[Y₁(w)] +· · ·+E[Y_r(w)] =r{1 +k−k(1−q)^k}

=r+r·k−r·k(1−q)^k= N

k +N−N(1−q)^k =N(1

k+ 1−(1−q)^k) .

Step 4.

不良品の発生率

として,

(3.1) Q(k)≡ 1

k+ 1−(1−q)^k

を数値計算すると, 下図の通りである.

それぞれの値は

k 2 5 8 10 12 15 20

Q(k) 0.519 0.249 0.202 0.1956 0.197 0.207 0.232

で,

が最小値である.

結論: 不良品発生率

の場合,

とした検査方法

は 検 査方法

より少ない検査回数で済む.

とくに

のとき, 検査方法

の検査回数は 検査方法

の

となる.

Step 5.(上級)数値計算によらずに(3.1)で与えられたQ(k)の性質を調べてみる.

基礎数学/解析学で学ぶ「微分」「テイラー展開」を使う.まずQ(k)をk に関して微分して, dQ(k)

dk =−1

k² −log(1−q) exp{klog(1−q)}.

log(1−q), exp{−kq}^{のテイラー展開は}

log(1−q) =−q−q² 2 −q³

3 − · · ·, (3.2)

exp{−kq}= 1−kq+k²q² 2! −k³q³

3! +· · · (3.3)

である. q は十分小さい数なので,

log(1−q)∼ −q とおいて,

dQ(k) dk ∼ −1

k² +q exp{−kq}.

つぎに, (3.3)より

dQ(k) dk ∼ −1

k² +q(1−kq)∼ 1 k² +q.

これより,Q(k) = 0はk∼1/√

qの近辺で満たされるから,Q(k)はk∼1/√

qの近辺で最小値をとる. もし,q= 1/100なら,最小値はk∼1/10近辺である. 2

例題

成功確率

のベルヌイ試行を成功するまで繰り返す.

(i) k

回以内に成功する確率

を計算せよ.

(ii)

成功するまでに要する回数

の平均を求めよ.