第 2 講：大数の法則 講：大数の法則

第

2

^{講：大数の法則}

大数の弱法則

:

^{コインを投げる場合}

正しいコインを、独立 に

n = 1, 2, · · · , 10000

 回投げた場合

0 2000 4000 6000 8000 10000

0.495

0.4975

0.5

0.5025

0.505

0.5075

0.51

0.5125

大数の弱法則

大数の弱法則

weak law of large numbers

1.

独立性：確率変数

X

₁

, X

₂

, · · · , X

_n が互いに独立

2.

平均の同一性：

µ = E(X

_i

) , i = 1, 2, · · · , n

3.

分散の有限性：

σ

²_i

= V (X

_i

) ≤ σ

²

, i = 1, 2, · · · , n

このとき、任意の

> 0

に対して

n→∞

lim P

X

₁

+ X

₂

+ · · · + X

_n

n − µ

≥

= 0

このとき、

X ¯

が

µ

に 確率収束

converge in probability

という。

大数の弱法則

:

^証明

Y = X

₁

+ X

₂

+ · · · + X

_n

n

とおくと、

E(Y ) = µ

となる。また独立性より

V (Y ) = σ

₁²

+ · · · + σ

_n²

n

²

≤ σ

²

+ · · · + σ

²

n

²

= σ

²

n

を得る。チェビシェフの不等式

P ( | Y − E(Y ) | ≥ ) ≤ V (Y )

² より

P ( | Y − µ | ≥ ) ≤ σ

²

n

² を得る。したがって、

n→∞

lim P

X

₁

+ X

₂

+ · · · + X

_n

n − µ

≥

= 0

大数の強法則

:

^{コインを投げる場合}

次々に 正しいコインを

n = 10000

回投げた場合 横軸：投げる回数；縦軸：表の出る相対頻度

0 2000 4000 6000 8000 10000

0.49 0.495 0.5 0.505 0.51 0.515 0.52

チェビシェフの不等式の拡張

X

平均を

µ = E(X ),

偶数次の中心モーメント

ν

_2k

= E(X − µ)

^2k とする

.

任意の

> 0

に対して、次が成り立つ

P ( | X − µ | ≥ ) ≤ ν

_2k

^2k

証明

: D = { x | x − µ | ≥ }

^とする。

ν

_2k

=

∞

−∞

(x − µ)

^2k

f (x) dx

≥

D

(x − µ)

^2k

f (x) dx

≥

D

^2k

f (x) dx

≥

^2k

D

f (x) dx

2k

標本平均の

4

^{次のモーメント}

• X

₁

, X

₂

, · · · , X

_n

:

互いに独立

• E(X

_i

) = µ, V (X

_i

) = σ

²

, E(X

_i

− µ)

⁴

= ν

₄

, i = 1, · · · , n

E( ¯ X − µ)

⁴

= 1 n

²

1

n ν

₄

+ 3(1 − 1 n ) σ

⁴

証明

:

( ¯ X − µ)

⁴

=

⎡

⎣

1 n

n i=1

(X

_i

− µ)

⎤

⎦ 4

= 1 n

⁴

⎧⎨

⎩ n

i=1

(X

_i

− µ)

⁴

+

i=j4

C

₂

(X

_i

− µ)

²

(X

_j

− µ)

²

+

i=j=k=4

C

₁

(X

_i

− µ)(X

_j

− µ)(X

_k

− µ)(X

− µ) +

i=j4

C

₁

(X

_i

− µ)

³

(X

_j

− µ)

⎫⎬

⎭

−

^{4 1 4}

大数の強法則

大数の強法則

strong law of large numbers

1.

確率変数

X

₁

, X

₂

, · · · , X

_n：互いに独立で同一分布に従う

2.

さらに、 _⎧

⎪⎪

⎪⎪

⎨

⎪⎪

⎪⎪

⎩

µ = E(X

_i

) σ

²

= V (X

_i

) ν

₄

= E(X

_i

− µ)

⁴

i = 1, 2, · · · , n

このとき、

P

n→∞

lim

X

₁

+ X

₂

+ · · · + X

_n

n = µ

= 1

このとき、

X ¯

が

µ

に 概収束

converge almost surely (converge with probability 1)

という。

大数の強法則の証明

•

^{評価すべき事象は}

n→∞

lim X ¯ = µ

である。

•

この事象は次の事象と同等である。任意の

> 0

に対して、自 然数

N

が存在し

,

全ての

n > N

に対して

X ¯ − µ

< , ∀ > 0, n > N

という事象である。

•

この事象の余事象は、ある

が存在し、この

に対して、どん な大きい

N

をとっても

, n > N

が存在し、次が満たされる事象

X ¯ − µ

≥ , for some n > N

である。

大数の強法則の証明（つづき）

一方、

n > N > ν

₄ のとき、チェビシェフの不等式より

P

_n

= P

| X ¯ − µ | ≥

≤ E( ¯ X − µ)

⁴

⁴

= 1

n

²

⁴

1

n ν

₄

+ 3(1 − 1 n ) σ

⁴

< 1 + 3σ

⁴

⁴

1 n

²

したがって

,

１つの

> 0

と任意の

N

に対して、

P

n→∞

lim X ¯ = µ

= 1 − P

| X ¯ − µ | ≥ | for some n > N

≥ 1 − (P

_N

+ P

_N+1

+ · · · )

≥ 1 − 1 + 3σ

⁴

⁴

⎧⎨

⎩

1

N

²

+ 1

(N + 1)

²

+ · · · +

⎫⎬

⎭ N

−→

→∞

1

第

3

^{講：中心極限定理}

中心極限定理

:

^{二項分布の場合}

X

₁

, · · · , X

_n

:

独立で、

p = 1/2

の

Bernoulli

分布に従い、ⁿ_i=1

X

_i の 分布

-1 1 2 3 4 5 6

0.05 0.1 0.15 0.2 0.25 0.3 0.35

n=5

中心極限定理

:

二項分布の場合（つづき）

X

₁

, · · · , X

_n

:

独立で、

p = 1/2

の

Bernoulli

分布に従い、ⁿ_i=1

X

_i の 分布

2 4 6 8 10

0.05 0.1 0.15 0.2 0.25

n=10

中心極限定理

:

二項分布の場合（つづき）

X

₁

, · · · , X

_n

:

独立で、

p = 1/2

の

Bernoulli

分布に従い、ⁿ_i=1

X

_i の 分布

5 10 15 20

0.025 0.05 0.075 0.1 0.125 0.15 0.175

n=20

中心極限定理

:

二項分布の場合（つづき）

X

₁

, · · · , X

_n

:

独立で、

p = 1/2

の

Bernoulli

分布に従い、ⁿ_i=1

X

_i の 分布

5 10 15 20 25 30

0.02 0.04 0.06 0.08 0.1 0.12 0.14

n=30

中心極限定理

Central Limit Theorem

定理

1

^{次の条件の下で}

1. X

₁

, · · · , X

_n が独立で、同じ分布に従う

2. E(X

_i

) = µ, V (X

_i

) = σ

²

, i = 1, · · · , n

確率変数

Y =

√n( ¯X−µ)

σ は標準正規分布に弱収束する。すなわち

n→∞

lim P

⎡

⎣

√ n( ¯ X − µ)

σ ≤ y

⎤

⎦

=

y

−∞

√ 1

2π e

^−x22

dx (1)

中心極限定理

:

^証明

(1/2)

Y

の積率母関数が標準正規分布のそれに近づくことを証明する。

X

_i の積率母関数が存在するという、定理より強い条件を仮定する。

Y

_i

=

^Xi−µ

σ とすると、

E(Y

_i

) = 0, V (Y

_i

) = 1, Y = 1

√ n

n

i=1

Y

_i

Y

_i の積率母関数を

M (t)

とすると

M (0) = E

e

^0Yi

= 1 M

(0) = E(Y

_i

) = 0

M

(0) = E(Y

_i²

) = V (Y

_i

) + (EY

_i

)

²

= 1

また

ψ(t) = log M (t)

とすると、

ψ

(t) = M

(t)

M (t) , ψ

(t) = M

(t)M (t) − [M

(t)]

²

[M (t)]

²

したがって、

ψ(0) = 0, ψ

(0) = 0, ψ

(0) = 1

となる。

中心極限定理

:

^証明

(2/2)

一方

,

ある

| θ | < | t |

が存在し、原点の周りで

ψ(t)

を展開すると

ψ(t) = ψ(0) + ψ

(0)

1! t + ψ

(0)

2! t

²

+ ψ

(θ)

3! t

³

= 1

2 t

²

+ ψ

(θ) 6 t

³ 従って、

Y

の積率母関数は

E

e

^{Y t}

= E

e

^√1n

_n

i=1Yit

=

ⁿ

i=1

E

e

^√tn

Y

_i

=

M

t/ √ n

ⁿ

= exp

n log M

t/ √ n

= exp

⎧⎨

⎩

n

⎡

⎣

1 2

t/ √

n

²

+ ψ

(θ) 6

t/ √ n

³

⎤

⎦

⎫⎬

⎭

= exp

⎧⎨

⎩

1

2 t

²

+ ψ

(θ) 6

t

³

√ n

⎫⎬

⎭ n→∞

−→ exp

1 t

²

二項分布の正規近似

定理

2 (De Moivre-Laplace Limit Theorem) X

が二項分布に従うならば

X ∼ Bi(n, p)

次が成り立つ

n→∞

lim P

⎡

⎣

a ≤ X − np

np(1 − p) ≤ b

⎤

⎦

= Φ(b) − Φ(a) (2)

ただし、

Φ(x)

は標準正規分布の分布関数である。すなわち、

Φ(x) =

x

−∞

√ 1

2π e

⁻¹²

y

²

dy

二項分布の正規近似

:

^証明

X

₁

, · · · , X

_n を独立で、成功する確率が

p

の

Bernoulli

分布に従うな らば

,

X =

ⁿ

i=1

X

_i

∼ Bi(n, p) E(X

_i

) = p

V (X

_i

) = p(1 − p)

となる。

中心極限定理によって

X − np

np(1 − p) =

n

i=1

X

_i

− np

np(1 − p)

=

√ n( ¯ X − p)

p(1 − p)

−→ N (0, 1)

第

4

講：正規分布からの標本抽出

— χ ²

分布・

F

分布

χ

² 分布

正規分布からの標本を考える。

• X

₁

, · · · , X

_n

∼ N (0, 1)

• X

₁

, · · · , X

_n

:

独立

• Y = X

₁²

+ · · · + X

_n² の密度関数を

f (y)

定理

3

^密度関数

f (y)

は次の式で与えられる

f (y) = 1 Γ(n/2)

1 2

ⁿ

2

y

ⁿ²⁻¹

e

^−y2

I

_(0,∞)

(y) (3)

定義

1 (3)

を自由度

n

の

χ

² 分布の密度関数という。

χ

² 分布

:

^証明

(1/2)

X

₁

, · · · , X

_n の独立性より

M

_Y

(t) = E [exp(Y t)]

= E

⎛

⎝

exp

⎧⎨

⎩ n i=1

X

_i²

t

⎫⎬

⎭

⎞

⎠

=

E e

^X12t

n

一方

E e

^X12t

=

∞

−∞

e

^x2t

1

√ 2π e

^−x22

dx

=

∞

−∞

√ 1

2π e

^−x

2

2(1−2t)

dx

= 1

√ 1 − 2t (1 − 2t > 0)

従って、

M

_Y

(t) = (1 − 2t)

⁻ⁿ²

χ

² 分布

:

^証明（

2/2

^）

直接的に計算すると

∞

0

e

^yt

f (y) dy =

∞

0

e

^yt

1 Γ(n/2)

1 2

ⁿ

2

y

ⁿ²⁻¹

e

^−y2

dy

=

∞ 0

1 Γ(n/2)

1 2

ⁿ

2

y

ⁿ²⁻¹

e

^−y2+yt

dy

x = y 2 − yt

=

∞ 0

1 Γ(n/2)

1 2

ⁿ

2

2 1 − 2t x

ⁿ

2−1

e

^−x

2 1 − 2t dx

=

1 1 − 2t

ⁿ

2

1

Γ(n/2)

∞

0

x

ⁿ²⁻¹

e

^−x

dx

=

1 1 − 2t

ⁿ

2

これが

M

_Y

(t)

と一致する。

χ

² 分布の平均・分散

•

^{積率母関数}

M (t) = (1 − 2t)

⁻ⁿ² より

M

(t) = n(1 − 2t)

⁻ⁿ²⁻¹

M

(t) = n(n + 2)(1 − 2t)

⁻ⁿ²⁻²

•

^平均：

E(Y ) = M

(0) = n

•

^分散：

V (Y ) = E(X

²

) − (EX)

²

= M

(0) − n

²

= 2n

χ

² 分布の様子

χ

² 分布の密度関数

0 5 10 15 20

0 0.1 0.2 0.3 0.4

n=10 n=5 n=4 n=2 n=1

χ

² 分布

:

^{自由度大きい場合}

自由度が大きいときの

χ

² 分布の密度関数

0 10 20 30 40 50 60 70

0 0.02 0.04 0.06 0.08 0.1

n=30 n=20 n=10

χ

² 分布の正規近似

• Z

₁

= X

₁²

, · · · , Z

_n

= X

_n² が独立に自由度

1

の

χ

² 分布に従う

• E(Z

_i

) = 1, V (Z

_i

) = 2

• Z ¯ =

¹

n n

i=1

X

_i²

= Y /n

とすると

•

中心極限定理により、自由度

n

が大きいときに、

√ n(Y /n − 1)

√ 2 =

√ n( ¯ Z − 1)

√ 2

−→ N (0, 1)

= ⇒ Y −→ N (n, 2n)

F

分布

• X :

自由度

m

の

χ2

分布

• Y :

自由度

n

の

χ2

分布

• X, Y :

独立

• Z =

^X/m

Y /n の密度関数を

f (z)

定理

4

^密度関数

f (z)

は次の式で与えられる

f (z) = 1

B(

^m₂

,

ⁿ₂

)

m n

m

2

z

^m2−1

(1 + m

n z)

^−m+n2

I

_(0,∞

(z) (4)

定義

2 (4)

を自由度

(m, n)

の

F

分布の密度関数という。

F

分布

:

^証明

(1/3)

• X, Y

の独立性から、

X, Y

の同時密度関数は

f (x, y) = 2

^−m2

Γ(m/2) x

^m2−1

e

^−x2

I

_x>0

(x) × 2

⁻ⁿ²

Γ(n/2) y

ⁿ²⁻¹

e

^−y2

I

_y>0

(y )

• 1

対

1

の変数変換

⎧⎪

⎨

⎪⎩

z =

^x/m_y/n

=

_my^nx

w = y ⇔

⎧⎪

⎨

⎪⎩

x =

^m

n

zw y = w

のヤコビアン

Jacobian

は

∂(x, y)

∂(z, w) =

∂x∂z ∂x

∂y ∂w

∂z

∂y

∂w

=

mn

w

^m

n

z

0 1

= m

n w

F

分布

:

^証明

(2/3)

したがって

f (z) =

∞

0

g(z, w) dw

=

∞ 0

f ( m

n zw, w) m

n w dzdw

=

∞ 0

2

^−m+n2

Γ(

^m₂

)Γ(

ⁿ₂

)

m n zw

m 2−1

e

^−2nmzw

w

ⁿ²⁻¹

e

^−w2

m

n w dwdz

=

m n

m 2

z

^m2−1

2

^m+n2

Γ(

^m₂

)Γ(

ⁿ₂

)

∞

0

w

^{m+n2 −1}

e

^−w(mz+n)2n

dw

変数変換

t = −

^w(mz+n)_2n ^すると、

w = 2nt

mz + n , dw = 2n mz + n dt

F

分布

:

^証明

(3/3)

∞

0

w

^{m+n2 −1}

e

^−w(mz+n)2n

dw =

∞ 0

2nt mz + n

^m+n

2 −1

e

^−t

× 2n mz + n dt

=

2n mz + n

^m+n

2 ∞

0

t

^m+n2

e

^−t

dt

=

2n mz + n

^m+n

2

Γ

m + n 2

従って

f (z) = m

^m2

n

ⁿ²

Γ(

^m+n₂

) Γ(

^m₂

)Γ(

ⁿ₂

)

z

^m2−1

(mz + n)

^m+n2

=

m n

m 2

B(

^m₂

,

ⁿ₂

) z

^m2−1

(1 + m

n z)

^−m+n2

This completes the proof.

F

分布の平均・分散

自由度

(m, n)

の

F

分布に対して 平均：

E(Z ) = n

n − 2 (n > 2)

分散：

V (Z) = 2n

²

(m + n − 2)

m(n − 2)

²

(n − 4) n > 4

平均の場合の証明： まず

E

1 Y

=

∞ 0

1 y

1 Γ(n/2)

1 2

n/2

y

ⁿ²⁻¹

e

^−y2

dy

= 1

Γ(n/2)

1 2

n/2 ∞

0

y

^{n−22 −1}

e

^−y2

dy

y 2 = w

= 1

Γ(n/2)

1 2

n/2 ∞

0

2

ⁿ²⁻²

w

^{n−22 −1}

e

^−w

2 dw

= 1 2

Γ((n − 2)/2) Γ(n/2) = 1

2 1

n2

− 1 = 1 n − 2

に注意すると、

E(Z ) = E

X/m

=

ⁿ

E(X ) E

¹

=

ⁿ

m

¹

=

ⁿ

F

分布の密度関数

Z =

^X/m

Y /n

, n = 1

の場合

:

0 2 4 6 8 10

0 0.2 0.4 0.6 0.8 1 1.2

m=9 m=7 m=5 m=3 m=1

F

分布の密度関数

Z =

^X/m

Y /n

, m = 1

の場合

:

0 2 4 6 8 10

0 0.5 1 1.5 2 2.5

n=9 n=7 n=5 n=3 n=1

F

分布の密度関数

Z =

^X/m

Y /n

, m = n

の場合

:

0 2 4 6 8 10

0 0.2 0.4 0.6 0.8 1

H 20,20 L H 10,10 L H 6,6 L H 4,4 L H 2,2 L

第

5

講：正規分布からの標本抽出

: t

分布

t

分布

• X ∼ N (0, 1)

• Y ∼ χ

²

(n)

• X, Y :

独立

• T = √

^X

Y /n の密度関数を

f (t)

定理

5

^密度関数

f (t)

は次の式で与えられる

f (t) = 1

√ nB(

ⁿ₂

,

¹₂

)

⎛

⎝

1 + t

²

n

⎞

⎠

−ⁿ⁺¹₂

(5)

定義

3 (5)

を自由度

n

の

t

分布の密度関数という。

t

分布

:

^証明

(1/3)

• X

と

Y

の独立性から、

X, Y

の同時分布

f (x, y) = f

_X

(x) f

_Y

(y) = 1

√ 2π e

^−12x2

1 2

ⁿ

2

1

Γ(n/2) y

ⁿ²⁻¹

e

^−y2

• 1 ↔ 1

変数変換

⎧⎪

⎪⎨

⎪⎪

⎩

t = √

^x

y/n

w = y ⇐⇒

⎧⎪

⎨

⎪⎩

x =

^w

n

t y = w

ヤコビアン：

∂x

∂t ∂x

∂y ∂w

∂t

∂y

∂w

=

w

n t

2√ wn

0 1

=

$

w n

t

分布

:

^証明

(2/3)

したがって

f (t) =

∞

0

g(t, w) dw

=

∞ 0

f (

$

w n t, w)

$

w n dw

=

∞ 0

√ 1

2π e

^−12wnt2

1 2

ⁿ

2

1

Γ(n/2) w

ⁿ²⁻¹

e

^−w2

$

w n dw

= 1

√ 2π

1 2

ⁿ

2

1

√ n Γ(n/2)

∞

0

w

ⁿ²⁻¹²

e

^{−w2−2nwt2}

dw

次の変数変換を考える

s = w

2 + w

2n t

²

, w = s

1/2 + t

²

/(2n) , dw =

⎛

⎝

1 2 + t

²

2n

⎞

⎠

−1

ds

t

分布

:

^証明

(3/3)

したがって、

f (t) =

1 2

n

2

1

√ 2π √

n Γ(n/2)

⎛

⎝

1 2 + t

²

2n

⎞

⎠

−¹₂−ⁿ₂ ∞

0

s

ⁿ²⁻¹²

e

^−s

ds

=

1 2

ⁿ

2

1

√ 2π √

n Γ(n/2)

⎛

⎝

1 2 + t

²

2n

⎞

⎠

−¹₂−ⁿ₂

Γ

n 2 + 1

2

次の式

B

n 2 , 1

2

= Γ

ⁿ₂

Γ

¹₂

Γ

ⁿ₂

+

¹₂

=

√ πΓ

ⁿ₂

Γ

ⁿ₂

+

¹₂ に注意すると

, t

分布の密度関数は

f (t) =

1 2

ⁿ

2+¹₂

1

√ n B

ⁿ₂

,

¹₂

⎛

⎝

1 2 + t

²

2n

⎞

⎠

−¹₂−ⁿ₂

= 1

√ n B

ⁿ₂

,

¹₂

⎛

⎝

1 + t

²

n

⎞

⎠

−ⁿ⁺¹₂

t

分布

:

^{自由度大きいとき}

次の極限

⎛

⎝

1 + t

²

n

⎞

⎠

−ⁿ⁺¹₂

=

⎡

⎢⎣

⎛

⎝

1 + t

²

n

⎞

⎠

tn2⎤

⎥⎦

t2

n×(−ⁿ⁺¹₂ )

n→∞

−→ e

^−t

2 2

に注意すると、次が成り立つ

f (t) = 1

√ n B

ⁿ₂

,

¹₂

⎛

⎝

1 + t

²

n

⎞

⎠

−ⁿ⁺¹₂

n→∞

−→ 1

√ 2π e

^−t22 すなわち

定理

6

自由度が大きいときに、

t

分布は正規分布に近づく

.

（注：中心極限定理からも証明される。）

t

分布

:

^平均分散

1.

平均： 独立性より

E(T ) = E

⎛

⎝

X

Y /n

⎞

⎠

= E(X ) · E

⎛

⎝

1

Y /n

⎞

⎠

= 0 · E

⎛

⎝

1

Y /n

⎞

⎠

= 0 2.

分散：

E(T ) = 0

なので、

V (T ) = E(T

²

)

= nE

⎛

⎝

X

²

Y

⎞

⎠

= nE(X

²

) · E

1 Y

= n · 1 · 1

n − 2 = n

n − 2

t

分布の様子

-10 -5 0 5 10

0 0.1 0.2 0.3 0.4

n=20 n=10 n=5 n=3 n=1

正規分布からの標本抽出

定理

7 X

₁

, X

₂

, · · · , X

_n

: N (0, 1)

に従う独立な確率変数

1. ¯ X = n

⁻¹ⁿ_i=1

X

_i 

∼ N (0, 1/n)

2. S

²

=

ⁿ_i=1

(X

_i

− X ¯ )

²

∼ χ

²

(n − 1) 3. ¯ X

と

S

²

:

独立

証明 まず、

(1)

を証明する。

X ¯

の積率母関数を

M (t)

とする。

M (t) = E

e

^Xt¯

= E

e

ⁿ¹

_n

i=1Xit

=

ⁿ

i=1

E

e

^ntXi

=

exp

t

²

/2n

²ⁿ

= exp

t

²

/2n

X ¯

と

S

² の独立性

(1/3)

次に

(2), (3)

を証明する。次の変数変換を考える

⎡

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎣

Y

₁

Y

₂

...

Y

_n−1

Y

_n

⎤

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎦

=

⎡

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎣

√1

2

−

^√1₂

0 · · · 0

√1

6 √1

6

−

^√2₆

· · · 0

... ... ... ... ...

√

1 n(n−1)

√

1 n(n−1)

√

1

n(n−1)

· · · − √

ⁿ⁻¹

n(n−1)

√1 n

√1 n

√1

n

· · ·

^√1_n

⎤

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎦

⎡

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎣

X

₁

X

₂

...

X

_n−1

X

_n

⎤

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎦

=

⎡

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎣

a

1

a

2

...

a

n−1

a

n

⎤

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎦

⎡

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎣

X

₁

X

₂

...

X

_n−1

X

_n

⎤

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎦

= A

⎡

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎢

⎢⎣

X

₁

X

₂

...

X

_n−1

X

_n

⎤

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎥

⎥⎦

明らかに、

• a

i

a

^t_i

= 1, i = 1, · · · , n

X ¯

と

S

² の独立性

(2/3)

すると、次のことが分かる

• Y

₁

, · · · , Y

_n

:

正規分布に従う

• E(Y

_i

) = 0, V (Y

_i

) = 1, i = 1, · · · , n

• E(Y

_i

Y

_j

) = 0, i = j = 1, · · · , n

すなわち、

Y

₁

, · · · , Y

_n は互いに独立である

•

ⁿ_i=1

X

_i²

=

ⁿ_i=1

Y

_i²

:

n

i=1

Y

_i²

= [Y

₁

, Y

₂

, · · · , Y

_n

] [Y

₁

, Y

₂

, · · · , Y

_n

]

^t

=

[X

₁

, X

₂

, · · · , X

_n

] A

^t

A [X

₁

, X

₂

, · · · , X

_n

]

^t

= [X

₁

, X

₂

, · · · , X

_n

]

A

^t

A

[X

₁

, X

₂

, · · · , X

_n

]

^t

= [X

₁

, X

₂

, · · · , X

_n

] I

_n×n

[X

₁

, X

₂

, · · · , X

_n

]

^t

=

ⁿ

i=1

X

_i²

X ¯

と

S

² の独立性

(3/3)

従って、ⁿ⁻¹_i=1

Y

_i² は

χ

²

(n − 1)

に従い、また

Y

_n と独立。

ところで、

Y

_n

= √ n X ¯

で、また

n−1 i=1

Y

_i²

=

ⁿ

i=1

X

_i²

− Y

_n²

=

ⁿ

i=1

X

_i²

− n( ¯ X )

²

=

ⁿ

i=1

(X

_i

− X ¯ )

²

= S

²

第

6

^{講：区間推定}

:

^{正規分布の平均の場合}

区間推定

confidence interval

•

^母数

θ

に依存して決まる確率密度関数：

f (x | θ)

•

^{無作為標本}

X = { X

₁

, X

₂

, · · · , X

_n

} :

X

₁

, X

₂

, · · · , X

_n ^i.i.d.

∼ f (x | θ)

•

^任意の

0 < α < 1

に対し、次が成り立つ

P [L( X ) ≤ θ ≤ U ( X )] = 1 − α (6)

定義

4 • (6)

を満たす区間

[L, U] = [L( X ) ≤ θ ≤ U ( X )]

を

θ

の

信頼係数

1 − α

の信頼区間

confidence interval

という。

• L, U

をそれぞれ 下側信頼限界

lower confidence limit

と 上側信 頼限界

upper confidence limit

という。

• 1 − α

を

[L, U ]

の信頼係数

confidence coefficient

という。

平均・分散の区間推定問題

• 1

^標本問題

one sample problem 1. 1

つの無作為標本

:

X

₁

, · · · , X

_n ^i.i.d.

∼ N (µ, σ

²

) 2. µ

の信頼区間の構成

3. σ

² の信頼区間の構成

• 2

標本問題

two sample problem 1. 2

つの無作為標本： 

X

₁

, · · · , X

_m ^i.i.d.

∼ N (µ

_x

, σ

_x²

) Y

₁

, · · · , Y

_n ^i.i.d.

∼ N (µ

_y

, σ

_y²

) 2. µ

_x

− µ

_y の信頼区間の構成

3. σ

_x²

/σ

_y² の信頼区間の構成

µ

の信頼区間

( σ

²が既知

)

標準正規分布の

α

パーセント点 を

z

_α とする。すなわち

zα

−∞

√ 1

2π e

^−x

2

2

dx = α

定理

8

1.

無作為標本

:

X

₁

, · · · , X

_n ^i.i.d.

∼ N (µ, σ

²

) 2. σ

²

:

既知

3. ¯ X = n

⁻¹ⁿ_i=1

X

_i

このとき、

µ

の信頼係数

1 − 2α

の信頼区間は次に与えられる

P

⎡

⎣

X ¯ − σ

√ n z

_1−α

≤ µ ≤ X ¯ + σ

√ n z

_1−α

⎤

⎦

= 1 − 2α

µ

の信頼区間

( σ

² が既知

):

^証明

標本平均

X ¯

は正規分布に従う。また平均と分散はそれぞれ

E( ¯ X ) = µ, V ( ¯ X ) = σ

²

n

すなわち、

X ¯ ∼ N (µ, σ

²

n )

従って、次が成り立つ

Y =

√ n( ¯ X − µ)

σ



∼ N (0, 1)

1 − 2α = P [ | Y | ≤ z

_1−α

]

= P

⎡

⎣

− z

_1−α

≤

√ n( ¯ X − µ)

σ ≤ z

_1−α

⎤

⎦

= P

⎡

⎣

X ¯ − σ

√ n z

_1−α

≤ µ ≤ X ¯ + σ

√ n z

_1−α

⎤

⎦

µ

の信頼区間

( σ

²が未知

)

定理

9

次の条件が成り立つとする。

1. t

ⁿ⁻¹_α

:

自由度

n − 1

の

t

分布の

α

パーセント点

2.

無作為標本

:

X

₁

, · · · , X

_n ^i.i.d.

∼ N (µ, σ

²

) 3. µ, σ

²

:

未知

4.

標本平均，標本分散   

X ¯ = n

^{−1 n}

i=1

X

_i

, S

²

= 1 n − 1

n i=1

(X

_i

− X ¯ )

² このとき、

µ

の信頼係数

1 − 2α

の信頼区間は次に与えられる

P

⎡

⎣

X ¯ − S

√ n t

ⁿ⁻¹_1−α

≤ µ ≤ X ¯ + S

√ n t

ⁿ⁻¹_1−α

⎤

⎦

= 1 − 2α

µ

の信頼区間

( σ

² が未知

):

^証明

条件より

•

Y =

√ n( ¯ X − µ)

σ ∼ N (0, 1) Z = (n − 1)S

²

σ

²

=

ⁿ

i=1

⎛

⎝

X

_i

− X ¯ σ

⎞

⎠ 2

∼ χ

²

(n − 1)

• Y, Z

の独立性より   

T = Y

Z/(n − 1) =

√ n( ¯ X − µ)

S ∼ t(n − 1)

•

1 − 2α = P

| T | ≤ t

ⁿ⁻¹_1−α

= P

⎡

⎣

− t

ⁿ⁻¹_1−α

≤

√ n( ¯ X − µ)

S ≤ t

ⁿ⁻¹_1−α

⎤

⎦

= P

⎡

⎣

X ¯ − S

√ t

ⁿ⁻¹_1−α

≤ µ ≤ X ¯ + S

√ t

ⁿ⁻¹_1−α

⎤

⎦

µ

の信頼区間

( σ

²が未知

):

^例

ある学校で

100

人の生徒が無作為に選ばれ、これらの生徒に知能テス トが行われた。テストの点数の平均

50.0,

標本分散

s

²_x

= 100.0

が得 られた。

この学校の生徒の同じテストにおける得点が正規分布

N (µ, σ

²

)

に従 うとして、母平均

µ

の信頼係数

1 − 2α = 95%, 90%

の信頼区間を求 めよ。

解 求める信頼区間は

'

¯

x −

^√s_n

t

ⁿ⁻¹_1−α

, x ¯ +

^√s

n

t

ⁿ⁻¹_1−α

(

で、

n = 100, x ¯ = 50.0, α = 0.025, 0.05

となる。また、

s =

)*

*+

1

n − 1 (x

_i

− x) ¯

²

=

$

n

n − 1 s

²_x

=

)*

*+

100

99 × 100.0 = 10.05

表によって、

t

⁹⁹_1−0.025

= t

⁹⁹_0.975

= 1.98, t

⁹⁹_1−0.05

= t

⁹⁹_0.95

= 1.65

• 95%

信頼区間

: [50.0 −

^10.05√₁₀₀

1.98, 50.0 +

^10.05√₁₀₀

1.98] = [48.0, 52.0]

第

7

^{講：区間推定}

:

^{正規分布の分散の場合}