1 大数の法則

確率数理工学補足資料

大数の法則と中心極限定理

2020-6-19

鈴木大慈

e-mail: [email protected]

本資料では講義で扱えなかった大数の強法則や中心極限定理に関係するいくつかの定理を示す．なお，本資 料で「確率変数」といえばボレル可測実数値確率変数を表すものとする．

1 ^{大数の法則}

(Ω, F , P )

を確率空間とする．事象の列

A

_n

∈ F (n = 1, 2, . . . )

があったとして，これに含まれる事象が無限 に起きるかどうかを考察したい．

lim sup

n→∞

A

_n

=

∩

∞ k=1

∪

∞ n=k

A

_n

を

A

_nの上極限とすれば，

ω ∈ lim sup

n→∞

A

n

⇐⇒ ω

が無限個の

A

nに属する

がわかる．これは以下のようにして考えればよい．まず，

ω ∈ lim sup

_n

A

_nなら，どんなに大きな

k

を持って きても，

k

以上の

n

があって

ω ∈ A

_n となる．よって，もし

ω

が有限個の

{ A

_n1

, . . . , A

_nM

}

^{にのみ属するの} なら，

n > n

_M であるすべての

n

で

ω / ∈ A

_nとなるので矛盾する．結局，無限個の

A

_nに属していなくてはい けないことがわかる．このことから上極限を単純に

A

n

i.o.

と書くことも多い

(i.o.

は

infinitely often

の略

)

．

Borel-Cantelli

の補題は

A

_n

i.o.

の確率を評価するのに有用な補題である．

Lemma 1 (Borel-Cantelli

の補題

).

1. ∑

_∞

n=1

P (A

n

) < ∞

^ならば

P (

lim sup

n→∞

A

n

)

= 0.

つまり，

P(A

_n

i.o.) = 0.

2.

事象

(A

_n

)

^∞_n=1は独立で

∑

_∞

n=1

P (A

_n

) = ∞

^ならば，

P (

lim sup

n→∞

A

n

)

= 1

である．

2.

における

A

_n の独立性を外せない．例えば，コイン投げを無限回繰り返す試行を考えて，

A

_n は一回 目のコインが表であるという事象としよう．コインの表と裏が出る確率がそれぞれ

1/2

の場合，

P (A

_n

) = 1/2

である．よって，

∑

_∞

n=1

P(A

_n

) = ∞

^{であるが，}

A

₁

= A

₂

= A

₃

= · · ·

^より

lim sup

_n

A

_n

= A

₁で，

P (lim sup

_n

A

_n

) = 1/2 ̸ = 1

である．

Proof.

1.

任意の

k

^′に対して，上極限の定義と確率の劣加法性より

P(lim sup

n→∞

A

n

) = P (

∩

∞ k=1

∪

∞ n=k

A

n

) ≤ P(

∪

∞ n=k^′

A

n

) ≤ ∑

^∞

n=k^′

P(A

n

)

である．ここで，

k

^′は任意で，

∑

_∞

n=1

P (A

n

) < ∞

^{の仮定より}

lim

k′→∞

∑

_∞

n=k^′

P (A

n

) = 0

なので左辺は

0

で ある．

2.

まず，

P ((

lim sup

n→∞

A

n

)

c

)

= P (

_∞

∪

k=1

( ∪

∞ n=k

A

n

)

c

)

≤

∑

∞ k=1

P (( ∪

∞

n=k

A

n

)

c

)

に注意すると，任意の

k

に対して

P (( ∪

_∞

n=k

A

_n

)

^c

) = 0

が示せれば良い．以下，これを示す．

任意の

N > k

に対して，

A

nらの独立性から

P ( ∩

N

n=k

A

^c_n

) = ∏

N

n=k

P (A

^c_n

)

なので，

P (( ∪

∞

n=k

A

n

)

c

)

= 1 − P (

_∞

∪

n=k

A

n

)

≤ 1 − P (

_N

∪

n=k

A

n

)

= P (

(

∪

N

n=k

A

n

)

^c

)

= P (

_N

∩

n=k

A

^c_n

)

=

∏

N

n=k

P (A

^c_n

) =

∏

N

n=k

(1 − P (A

_n

))

≤

∏

N

n=k

e

^−P(An)

= e

^{−∑Nn=kP(An)}

である．仮定から

∑

_∞

n=k

P(A

n

) = ∞

^が任意の

k

に対して成り立つことを思い出すと，

N → ∞

^{の極限を取} ることで，右辺

→ 0

がわかる．

ここから大数の強法則を示すが，そのためにいくつか準備をする．

Lemma 2 (Kronecker

の補題

).

実数列

(x

_n

)

^∞_n=1と

∞

^{に発散する増加正数列}

(b

_n

)

^∞_n=1に対して，

∑

∞ n=1

x

n

b

n

が収束

= ⇒ 1 b

n

∑

n

k=1

x

k

→ 0.

Proof. n = 0, 1, 2, . . . , ∞

^に対し，

s

0

= 0, s

n

=

∑

n

k=1

x

_k

b

k

→ s

_∞ とおくと（仮定より

s

_nの収束先があることに注意），

x

n

= b

n

(s

n

− s

n−1

).

よって，

1 b

n

∑

n

k=1

x

_k

= 1 b

n

∑

n

k=1

b

_k

(s

_k

− s

_k−1

) = s

_n

− 1 b

n

∑

n

k=1

s

_k−1

(b

_k

− b

_k−1

) (1)

であるが，

b

_k

− b

_k−1

≥ 0,

∑

n

k=1

(b

_k

− b

_k−1

) = b

_n

→ ∞ ,

に注意すると

| 1 b

n

∑

n

k=1

s

k−1

(b

k

− b

k−1

) − s

_∞

|

= | 1 b

n

∑

n

k=1

s

k−1

(b

k

− b

k−1

) − s

_∞

b

n

∑

n

k=1

(b

k

− b

k−1

) |

= | 1 b

n

∑

n

k=1

(s

k−1

− s

_∞

)(b

k

− b

k−1

) |

≤ 1 b

n

∑

n

k=1

| s

k−1

− s

_∞

| (b

k

− b

k−1

)

である．

s

n

→ s

_∞より，右辺は任意の

ϵ

に対して，十分大きな

N

を

| s

k

− s

_∞

| ≤ ϵ ( ∀ k ≥ N )

を満たすよう にとってくることができて，

0 ≤ 1 b

n

∑

n

k=1

| s

k−1

− s

_∞

| (b

k

− b

k−1

)

= 1 b

n

∑

n

k=N+1

| s

k−1

− s

_∞

| (b

k

− b

k−1

) + 1 b

n

∑

N

k=1

| s

k−1

− s

_∞

| (b

k

− b

k−1

)

≤ ϵ 1 b

_n

∑

n

k=N+1

(b

k

− b

k−1

) + b

N

b

_n

max

1≤k≤N

| s

k

− s

_∞

|

^n→∞

→ ϵ

を得るので，

n → ∞

^で

0

に収束することがわかる．よって，

1 b

n

∑

n

k=1

s

_k−1

(b

_k

− b

_k−1

) → s

_∞ である．また，

s

_n

→ s

_∞でもあるので，式

(1)

より

n

lim

→∞

1 b

_n

∑

n

k=1

x

k

= s

_∞

− s

_∞

= 0.

Lemma 3 (Kolmogorov

の不等式

). (X

i

)

ⁿ_i=1を独立な確率変数列として，

E[X

i

] = 0, V

i

= Var[X

i

] < ∞

^と する．このとき，任意の

M > 0

に対して，

P (

max

1≤k≤n

| X

1

+ · · · + X

k

| ≥ M )

≤ 1 M

²

∑

n

i=1

V

i

.

Proof. Z

k

= ∑

k

i=1

X

iに対して，

A = {

ω ∈ Ω | max

1≤k≤n

| Z

i

| ≥ M }

とおく．この事象の確率を評価するために，

| Z

i

|

^を

i

について動かすときにいつ初めて

M

以上になるかに着 目する．すなわち，

A

k

= {

ω ∈ Ω | max

1≤i≤k−1

| Z

i

| < M

かつ

| Z

k

| ≥ M }

とすると，

A

_k

(k = 1, . . . , n)

は多大に素で，

A = ∪

n

k=1

A

_k と分解できる．ここで，事象

A

_k においては

Z

_k

≥ M

なので，

P (A) =

∑

n

k=1

P (A

k

) ≤

∑

n

k=1

1

M

²

E[Z

_k²

1

A_k

]

である．ただし，

1

A_kは

1

A_k

(ω) = 1 (ω ∈ A

k

), 1

A_k

(ω) = 0 (otherwise)

で与えられる関数である．

ここで，実は

E[Z

_k²

1

A_k

] ≤ E[Z

_n²

1

A_k

]

が成り立つことを示そう．まず，

E[Z

_k²

1

A_k

] − E[Z

_n²

1

A_k

] ≤ 2E[(Z

k

− Z

n

)Z

k

1

A_k

]

に注意する．

Z

k

− Z

n

= ∑

n

i=k+1

X

iなので，

Z

k

− Z

nは

(X

k+1

, . . . , X

n

)

の関数であり，

Z

k

1

A_kは

(X

1

, . . . , X

k

)

の関数なので，

(X

i

)

ⁿ_i=1らの独立性から

Z

k

− Z

nと

Z

k

1

A_k は独立である．よって，

2E[(Z

k

− Z

n

)Z

k

1

A_k

] = 2E[(Z

k

− Z

n

)]E[Z

k

1

A_k

] = 0 ( ∵ E[Z

k

] = E[Z

n

] = 0)

が成り立ち，

E[Z

_k²

1

A_k

] ≤ E[Z

_n²

1

A_k

]

が示せた．

以上より，

P(A) ≤

∑

n

k=1

1

M

²

E[Z

_k²

1

A_k

]

≤ 1 M

²

∑

n

k=1

E[Z

_n²

1

A_k

] = 1

M

²

E[Z

_n²

1

A

] ≤ 1 M

²

E[Z

_n²

]

= 1

M

²

E[(X

1

+ · · · + X

n

)

²

] = 1 M

²

∑

n

i=1

V

i

.

Theorem 4 (Kolmogorov

の定理

).

確率変数列

(X

n

)

^∞_n=1に対し，

∑

_∞

n=1

E[X

n

]

と

∑

_∞

n=1

Var[X

n

]

がともに 収束するなら，

∑

_∞

n=1

X

nは有限な値に概収束する．

Proof. ∑

_∞

n=1

E[X

n

]

が収束することと，

X

n

= (X

n

− E[X

n

]) + E[X

n

]

かつ

Var[X

n

] = Var[X

n

− E[X

n

]]

で あることから，

E[X

n

] = 0

として良い．

S

n

=

∑

n

i=1

X

i

,

として，

V

i

= Var[X

i

]

とする．

Kolmogorov

の不等式を

X

n+1

, X

n+2

, . . . , X

n+mに適用して，

P (

max

1≤k≤m

| S

_n+k

− S

_n

| ≥ ϵ )

≤ 1 ϵ

²

∑

m

k=1

V

_n+k

である．また，

1 ≤ k, l ≤ m

に対して，

| S

n+k

− S

n+l

| ≤ | S

n+k

− S

n

| + | S

n

− S

n+l

|

^なので，

max

1≤k,l≤m

| S

_n+k

− S

_n+l

| ≤ 2 max

1≤k≤n

| S

_n+k

− S

_n

|

である．よって，

P (

max

1≤k,l≤m

| S

n+k

− S

n+l

| ≥ 2ϵ )

≤ 1 ϵ

²

∑

m

k=1

V

n+k

≤ 1 ϵ

²

∑

∞ k=1

V

n+k

を得る．ここで，

{ max

1≤k,l≤m

| S

n+k

− S

n+l

| ≥ 2ϵ }

^{なる事象は}

m

とともに増大するので，

m

について極限 を取ることで，

P (

sup

1≤k,l

| S

_n+k

− S

_n+l

| ≥ 2ϵ )

≤ 1 ϵ

²

∑

∞ k=1

V

_n+k

もわかる．一方，

{ max

1≤k,l

| S

n+k

− S

n+l

| ≥ 2ϵ }

^{なる事象は}

n

とともに減少するので，

n

について極限を取 ることで

P (

n

lim

→∞

sup

1≤k,l

| S

_n+k

− S

_n+l

| ≥ 2ϵ )

≤ 1 ϵ

²

lim

n→∞

∑

∞ k=1

V

_n+k

= 0

である．ただし，

∑

_∞

k=1

V

kが収束することを用いた．よって，

ϵ → 0

とすることで，

P (

n

lim

→∞

sup

n≤m,m^′

| S

m

− S

m^′

| = 0 )

= 1

つまり，

(S

n

)

^∞_n=1は確率１でコーシー列．コーシー列は有限の値に収束するので，これはある有限な値への概 収束を意味する．

Theorem 5. (X

i

)

^∞_i=1を

E[X

_i²

] < ∞ ( ∀ i)

である独立な確率変数列とする．今，

(b

i

)

^∞_i=1を

∞

^{に発散する増} 加正数列とし，

∑

∞ n=1

Var[X

n

] b

²_n

< ∞

を仮定する．すると，

∑

n

i=1

(X

i

− E[X

i

])

b

_n

→ 0 (a.s.).

Proof. Y

n

=

^Xn−_b^E[Xn]

n とすれば，

E[Y

_n

] = 0,

∑

∞ n=1

Var[Y

_n

] =

∑

∞ n=1

Var[X

_n

] b

²_n

< ∞

である．よって，

Kolmogorov

の定理を

(Y

_n

)

^∞_n=1に適用することで，

∑

_∞

n=1

Y

_n

= ∑

_∞

n=1

X_n−E[X_n]

bn は確率１

で有限の値に概収束する．さらに，

Kronecker

の補題を適用すると _b¹

n

∑

n

i=1

(X

n

− E[X

n

])

は

0

に概収束する ことがわかる．

Corollary 6. (X

_i

)

^∞_i=1は

E[X

_i²

] ≤ ∞ ( ∀ i)

かつ

E[X

_i

] = µ ( ∀ i)

である独立な確率変数列とする．すると，

∑

∞ n=1

Var[X

n

] n

²

< ∞

を満たせば，

∑

n

i=1

X

i

n → µ (a.s.).

Proof. b

_n

= n

として定理

5

を適用すれば良い．

上の

Corollary

では

X

_iらの

2

次モーメントが有限であることを仮定したが，実は独立同一な列に対しては

期待値の有限性のみに仮定を緩めることができる．

Theorem 7 (

大数の強法則

). (X

_i

)

^∞_i=1は独立同一な確率変数で，その期待値

E[X

₁

] = µ

は有限であるとす る．このとき，

1 n

∑

n

i=1

X

_i

→ µ (a.s.).

Proof.

任意の

i = 1, 2, . . .

に対して

E[X

i

] = 0

を仮定しても一般性を失わない．

X

iと同じ分布を持つ確率変 数を

X

と書く．

確率変数

Z

nを

Z

_n

= {

X

_n

( | X

_n

| ≤ n) 0 (otherwise)

と定義する．すると，

∑

∞ n=1

P (X

n

̸ = Z

n

) =

∑

∞ n=1

P ( | X

n

| > n) =

∑

∞ n=1

P( | X | > n) ( ∵ X

nらは

X

と同じ分布に従う

)

≤

∫

_∞

0

P ( | X | > x)dx =

∫

_∞

0

E[1 {| X | > x } ]dx

= E [∫

_∞

0

1 {| X | > x } dx ]

= E[ | X | ] < ∞ .

よって，

Borel-Cantelli

の補題より，

P(X

n

̸ = Z

n

i.o.) = 0.

よって，

∑

n i=1

Z

i

n → µ (a.s.)

が言えれば良い．一方で，

E[Z

n

] = E[X1 {| X | ≥ n } ] → µ (n → ∞ )

なので，

∑

n i=1

E[Z

i

]

n → µ

でもある．よって，

∑

n

i=1

(Z

i

− E[Z

i

])

n → 0 (a.s.)

を示せばよい．ここで，

Z

n

− E[Z

n

]

は期待値が

0

であり，かつ

| Z

n

| ≤ n

なので有界で，特に

E[(Z

n

− E[Z

n

])

²

] <

∞

^{である．よって，}

Corollary 6

から，

∑

∞ n=1

Var[Z

n

− E[Z

n

]]

n

²

< ∞

が言えれば十分である．

X

の分布関数を

F

と書くと，

∑

∞ n=1

Var[Z

n

− E[Z

n

]]

n

²

≤ ∑

^∞

n=1

E[Z

_n²

] n

²

≤ 4

∑

∞ n=1

E[Z

_n²

] (n + 1)

²

= 4

∑

∞ n=1

1 (n + 1)

²

∫

|x|≤n

x

²

dF (x)

≤ 4

∫

_∞

0

1 y

²

dy

∫

|x|≤y

x

²

dF (x)

≤ 4

∫ (∫

_∞

|x|

1 y

²

dy

)

x

²

dF (x)

= 4

∫

| x | dF (x) = 4E[ | X | ] < ∞ .

2 Levy ^{の連続性定理}

中心極限定理に代表されるような法則収束を示すには

Levy

の連続性定理が有用である．ここでは，

Levy

の 連続性定理を証明する．

Lemma 8 (Helly

の補題

).

任意の分布関数の列

(F

_n

)

^∞_n=1が与えられているとする．部分列

(F

_nj

)

^∞_j=1が存在 して，ある右連続かつ単調増加な関数

F = F (x)

に対して，

F

の任意の連続点

x ∈ R

^{において，}

j

lim

→∞

F

n_j

(x) = F (x)

が成り立つ．

F

は右連続かつ単調増加なので，分布関数に必要な条件をある程度備えているが，

lim

x→∞

F (x) = 1

お よび

lim

x→−∞

F(x) = 0

が成り立つとは限らない．つまり，ある確率分布に対する分布関数になるとは限ら ない．

Proof. Q = { q

1

, q

2

, . . . }

を有理数の集合とし，有理数を一列に並べて，

q

1

, q

2 のように番号を振る．

Q

^は

R

において稠密であることに注意する．

q

1に対して，

F

n

(q

1

)

は

[0, 1]

に含まれる数列なので，ある部分列

(n

⁽¹⁾_j

)

^∞_j=1を取ってくることで，

(F

n⁽¹⁾_j

(q

₁

))

^∞_j=1が収束するようにできる．次に，同様にして

(n

⁽¹⁾_j

)

^∞_j=1の中か

ら，

F

_n(1) j

(q

2

)

が収束する部分列を取り出し，それを

(n

⁽²⁾_j

)

^∞_j=1

⊆ (n

⁽¹⁾_j

)

^∞_j=1とおく．以下，同様の手続きを続 けることで，数列の列

(n

⁽¹⁾_j

)

^∞_j=1

⊇ (n

⁽²⁾_j

)

^∞_j=1

⊇ (n

⁽³⁾_j

)

^∞_j=1

⊇ · · ·

を得る．ここで，

(n

j

)

^∞_j=1を

n

j

= n

^(j)_j

のように対角線状に数列を取り出すと，任意の

q ∈ Q

^に対して

F

n_j

(q)

は収束する．この収束先を

G(q)

と書 く．

G

の構成の仕方から

q ≤ q

^′なら，

G(q) ≤ G(q

^′

)

がわかる．しかし，

G(q)

は

Q

上においてのみ定義され ており，しかも右連続であるとは限らない．そこで，

F(x) = inf { G(q) | q > x }

とおく（

inf

内では

q ≥ x

ではなく

q > x

としていることに注意）．すると，

F (x)

は単調増加で，さらに右 連続であることが示せる．なぜなら，

x

を任意の点として，任意の

ϵ > 0

に対して，ある

q > x

が存在して，

G(q) − F(x) < ϵ

とできるので，任意の

x ≤ y ≤ q

に対して

F (y) − F (x) < ϵ

が言えるからである．

x

を

F

の連続点として，

F

_nj

(x) → F (x)

を示す．

x

において

F

は連続なので，ある

q < x < q

^′が存在し て，

G(q

^′

) − G(q) < ϵ

とできる．単調性から

G(q) ≤ F (x) ≤ G(q

^′

)

も成り立つ．よって，

G(q) = lim

j→∞

F

n_j

(q) ≤ lim inf

j→∞

F

n_j

(x) ≤ lim sup

j→∞

F

n_j

(x) ≤ lim

j→∞

F

n_j

(q

^′

) = G(q

^′

)

が成り立つ．よって，

ϵ → 0

とすることで

lim

j→∞

F

n_j

(x) = F (x)

が示せる．

ある確率変数の列

(X

n

)

^∞_n=1が緊密

(tight)

であるとは，任意の

ϵ

に対して，ある

M > 0

が存在して

sup

n

P ( | X

n

| ≥ M ) < ϵ

が成り立つことと定義する．

Theorem 9 (Prohorov

の定理

).

1. X

_n

⇝ X

がある確率変数

X

に対して成り立つならば

(X

_n

)

^∞_n=1は緊密である．

2. (X

_n

)

^∞_n=1が緊密ならば，ある部分列が存在して

X

_nj

⇝ X

がある確率変数

X

に対して成り立つ．

Prohorov

の定理は「有界な実数列は収束部分列を持つ」という命題（

Bolzano-Weierstrass

の定理）の確率 変数版と言える．

Proof. 1. ϵ > 0

を任意にとる．確率測度の連続性より十分大きな

M

に対して

P ( | X | ≥ M ) ≤ ϵ

とできる．

X

nは

X

に法則収束するので，十分大きな

N

に対して，任意の

n ≥ N

で

P ( | X

n

| ≥ M ) − P( | X | ≥ M ) ≤ ϵ

とできる

(portmanteau

の定理を使えばすぐに示せるが，必要ならば

M

を少し大きく取り

x = ± M

が

X

の

分布関数の連続点であるようにすれば示せる

)

．よって，全ての

n ≥ N

において

P( | X

n

| ≥ M ) ≤ 2ϵ

である．

あとは，十分大きな

M

^′を用いれば

max

1≤n<N

P( | X

n

| ≥ M

^′

) ≤ ϵ

とできるので，適宜

M

を大きくとること で，

sup

_n

P( | X

n

| ≥ M ) < 2ϵ

が示せる．

2. Helly

の補題より，ある部分列

n

j

(j = 1, 2, . . . )

が存在して，

F

n_j

(x) = P (X

n_j

≤ x)

は，ある単調増大か つ右連続な関数

F

に任意の

F

の連続点

x

で収束する．あとは，

lim

x→∞

F(x) = 1

かつ

lim

x→−∞

F (x) = 0

を示せばよい．

(X

_n

)

^∞_n=1の緊密性より，十分大きな

M

を取ってくれば

F

_n

(M ) > 1 − ϵ

が全ての

n

で成り立つ．よって，

F (M ) = lim

_j→∞

F

_nj

(M ) > 1 − ϵ

が言える．このことから，

x → ∞

^で

F (x) → 1

とできることがわかる．

同様に

lim

_x→−∞

F (x) = 0

も示せる．

Theorem 10 (Levy

の連続性定理

). (X

n

)

^∞_n=1を確率変数の列とし，それらの特性関数を

ϕ

n

(t) = E[e

^itXn

]

とする．このとき，

1.

ある確率変数

X

が存在して，

X

n

⇝ X

ならば，任意の

t ∈ R

^{において，}

ϕ

n

(t) → ϕ(t).

2.

任意の

t ∈ R

^において

ϕ

n

(t) → ϕ(t)

が成り立ち，

ϕ

が

t = 0

で連続ならば，

ϕ

はある確率変数

X

の特 性関数であって，

X

n

⇝ X

である．

Proof. 1.

は有名な

portmanteau

の定理から示せる．例えば

[1]

の

Theorem 3.2.3

を参照せよ．

2.

を示す．まず

(X

n

)

^∞_n=1が緊密であることを示す．任意の

M > 0

に対して，

P ( | X

n

| ≥ M ) ≤ 1 1 − sin(1) E

[

1 − sin( | X

n

| /M )

| X

_n

| /M ] (

∵ 1 − sin(x)

x ≥ 0 ( ∀ x ∈ R ), 1 − sin(x)

x ≥ 1 − sin(1) ( ∀ x ≥ 1) )

= 1

1 − sin(1) E [

1 − sin(X

n

/M) X

n

/M

]

( ∵ sin(x)/x = sin( − x)/( − x))

= 1

1 − sin(1) E [(

1 − 1 2

∫

1

−1

e

^itXn/M

dt )]

= 1

1 − sin(1) (

1 − 1 2

∫

1

−1

ϕ

n

(t/M )dt )

である．ここで，

1 − 1 2

∫

1

−1

ϕ

_n

(t/M )dt = [

1 − 1 2

∫

1

−1

ϕ(t/M)dt ]

− 1 2

∫

1

−1

(ϕ

_n

(t/M) − ϕ(t/M))dt

に注意する．右辺第一項を

A

_M

,

第二項を

B

_M

(n)

とする．まず

A

_M を評価する．

ϕ(t)

は

t = 0

で連続で，か つ

ϕ(0) = 1

である．よって，任意の

ϵ > 0

に対して，十分大きな

M

を取れば，

| ϕ(t/M) − 1 | ≤ ϵ

が全ての

− 1 ≤ t ≤ 1

で成り立つ．このとき，

| A

M

| ≤ ϵ

となる．この評価は

n

に依存しないことに注意する．次に，

B

_M

(n)

を評価する．

| ϕ

_n

(t) | ≤ 1

かつ

| ϕ(t) | ≤ 1

なので，ルベーグの収束定理より

n

lim

→∞

B

_M

(n) = 0

である．よって，十分大きな

N

に対し，全ての

n ≥ N

において

| B

M

(n) | ≤ ϵ

とできる．以上より，

(X

n

)

^∞_n=1が緊密であることが示された．

(X

n

)

^∞_n=1が緊密であるので，

Prohorov

の定理よりその部分列

n

jを取ってくることで，ある確率変数

X

へ 法則収束させることができる．

X

の特性関数を

ϕ

^′とすれば，

1.

より

lim

j→∞

ϕ

n_j

(t) = ϕ

^′

(t)

が成り立つ．と ころが，仮定より

lim

j→∞

ϕ

n_j

(t) = ϕ(t)

でもあるので，

ϕ

^′

(t) = ϕ(t)

である．このことから，部分列の取り方 によらず法則収束する先の分布の特性関数は

ϕ

であることがわかる．分布は特性関数から一意に決まるので，

法則収束先の分布も部分列の取り方によらず一意に決まる．この分布を持つ確率変数を

X

とする．ここで，

もし

X

n

⇝ X

でなければ，ある部分列

(X

n_j

)

^∞_j=1が存在して，それは

X

に法則収束しない．つまり，

X

の分 布関数

F

のある連続点

x

において，

F

_nj

(x)

は

F(x)

に収束しない．すると，必要ならばさらに部分列を取る ことで

inf

_j

| F

_nj

(x) − F(x) | > 0

とできる．しかし，上記の議論より，この部分列の中にも

X

に法則収束する 部分列が取れてしまい，

inf

j

| F

n_j

(x) − F (x) | = 0

となるので，矛盾する．よって，

X

n

⇝ X

が示された．

Levy

の連続性定理より，講義で示したように中心極限定理を示すことができる．ここでは，大数の弱法則 の別証明を与えよう．

Theorem 11 (

大数の弱法則

(

別証明

)). X

1

, . . . , X

nを独立同一な確率変数とし，それらの特性関数が

ϕ

で あるとする．今，

ϕ

が原点で微分可能で

iµ = ϕ

^′

(0)

としたとき，

X ¯

_n

= ∑

n

k=1

X

_k

/n →

^p

µ

である．

Proof. ϕ(0) = 1

と

ϕ

の原点での微分可能性より

ϕ(t) = 1 + tϕ

^′

(0) + o(t)

が

t → 0

において成り立つ．

よって，

E[e

^itX¯n

] = ϕ

ⁿ

( t

n )

= (

1 + t n iµ + o

( 1 n

))

n

→ e

^itµ

が全ての

t ∈ R

に対して成り立つ．一方，

e

^itµは

P(X = µ) = 1

である確率変数（定数）

X

の特性関数であ る．よって，

Levy

の連続性定理より，

X ¯

nは

µ

に法則収束する．定数への法則収束は確率収束でもあること が知られている．

References

[1] R. Durrett. Probability: theory and examples. Cambridge university press, fourth edition, 2010.