サンプル分散の式で

(

参考

サンプル分散の式で

をかける理由 サンプル分散

の期待値を考えてみよう。

X₁−X¯_N = µ

1− 1 N

¶

X₁− 1 N

XN k=2

X_k (13.1)

なので

¡X₁−X¯_N¢₂

= µ

1− 1 N

¶₂

(X₁)²−2 µ

1− 1 N

¶ X₁ 1

N XN k=2

X_k+ 1 N²

XN k=2

(X_k)²+ 1 N²

X

k,l,k6=l

X_kX_l (13.2)

となる。この式の期待値

X₁−X¯_N¢₂

)

は

がそれぞれ独立なので

1− 1 N

¶₂

E(X²)−2 µ

1− 1 N

¶N−1

N E(X)²+ N−1

N² E(X²) +(N−1)(N−2)

N² E(X)²

= N−1 N

³

E(X²)−E(X)²

´

= N −1

N σ² (13.3)

となる。

の期待値は上式の

N −1

倍なのでサンプル分散の期待値が母分散に等しいことがわかる：

E(S²) =σ² (13.4)

(例)

ランダムウォークの母平均と母分散の時間発展 一般の時刻

でのランダムウォークの母平均

µ(t) = X∞

x=−∞

xP(x, t) (13.5)

を計算してみよう。いきなり

を求めるのは難しそうなので，時間が

ステップ増えると

がどれだけ変化するかを考える。式

より

µ(t+ 1) = X∞

x=−∞

xP(x, t+ 1) = X∞

x=−∞

x(pP(x−1, t) +qP(x+ 1, t)) (13.6)

となる。上式右辺第

項は

X∞

x=−∞

xP(x−1, t) = p X∞

y=−∞

(y+ 1)P(y, t) = p X∞

y=−∞

yP(y, t) +p X∞

y=−∞

P(y, t)

= p µ(t) +p (13.7)

となる。y

であり，

X∞

y=−∞

P(y, t) = 1

を用いた。同様に

q X∞

x=−∞

xP(x+ 1, t) = q X∞

y⁰=−∞

(y⁰−1)P(y⁰, t) = q X∞

y⁰=−∞

y⁰P(y⁰, t)−q X∞

y⁰=−∞

P(y⁰, t)

= q µ(t)−q (13.8)

となるので

µ(t+ 1) =µ(t) +p−q (13.9)

が得られる。µ(0) = 0 なので

µ(t) = (p−q) t (13.10)

となる。時間とともに

なら母平均は増加し，p < q なら減少する。

次に母分散を計算してみよう。まず，時刻

でのランダムウォーカーの位置

の

乗の期待値は

E

³

X(t+ 1)²

´

= X∞

x=−∞

x² P(x, t+ 1) =p X∞

x=−∞

x² P(x−1, t) +q X∞

x=−∞

x² P(x+ 1, t)

= p X∞

y=−∞

y² P(y, t) + 2p X∞

x=−∞

y P(y, t) +p X∞

x=−∞

P(y, t)

+ q X∞

y⁰=−∞

y⁰² P(y⁰, t)−2q X∞

y⁰=−∞

y⁰ P(y⁰, t) +q X∞

y⁰=−∞

P(y⁰, t)

= (p+q)E(X(t)²) + 2(p−q)E(X(t)) +p+q

= E(X(t)²) + 2(p−q)µ(t) + 1 (14.11)

のように時刻

の量と関係がつく。これより

³

X(t+ 1)²

´

−µ(t+ 1)²

= E(X(t)²) + 2(p−q)µ(t) + 1−

³

µ(t) +p−q

´₂

=σ²(t) + 4pq (14.12)

が得られ，母分散は

が

増えるごとに

だけ増加することがわかる。。σ

なので

σ²(t) = 4 p q t (14.13)

となる。

【問】

ランダムウォーカーが確率

で 右へ，確率

で左へ，確率

でその位置にとどまる場合の 時刻

の母平均と母分散を求めなさい。

【答】

上と同様に時刻

と

の量の関係をつけると

µ(t+ 1) =µ(t) +p_R−p_L, σ²(t+ 1) =σ²(t) +p_R+p_L−³

p_R−p_L´₂

(14.14)

が得られる。初期条件

より

µ(t) = (p_R−p_L)t , σ²(t) =

½

p_R+p_L−

³

p_R−p_L

´₂¾

t (14.15)

となる。尚，p

なので

は次のようにも表せる。

σ²(t) =

³

4p_Rp_L+p_S(1−p_S)

´

t (14.16)

・確率変数のとる値が連続

の場合

確率変数

が離散的な値

をとる場合は

となる確率

を考えたが，

X

のとる値が連続な場合は，X がある

点の値をとる確率，例えば

となる確率) は

となる。(点の長さは

であるため。)

X

のとる値がある区間

に入る確率，P

を考える必要がある。

P(a≤X ≤b) = Z _b

a

p(x)dx (15.1)

である場合

は 確率密度関数 と呼ばれ る。

−∞

p(x)dx = 1 (15.2)

となっている。また，X のとる値が

以下である 確率

を

の関数と考え て 累積分布関数 と呼ぶ。

F(x) = Z _x

−∞

p(x⁰)dx⁰ (15.3)

-2 -1 0.5 1 2

0.1 0.2 0.3 0.4 0.5 0.6

p(x) = 1

√π e^−x2

＜注＞

の関係がある。すなわち，F

は

の原始関数の一つ。

・母平均

に対応)

Z _∞

−∞

x p(x) dx (15.4)

・関数

の期待値

に対応)

Z _∞

−∞

f(x) p(x) dx (15.5)

・母分散

に対応)

³

(X−µ)²

´

= Z _∞

−∞

(x−µ)² p(x) dx= Z _∞

−∞

x² p(x) dx−µ² (15.6) (例)

区間

の一様乱数

p(x) = (

1 ; 0≤x <1

0 ; x <0 || 1≤x (15.7)

double uniform(void){

double r;

r = ((double) rand())/((double)RAND_MAX + 1.0);

return(r);

}

他の確率分布に従う確率変数は

から作る。

・累積分布関数

F(x) =







0 ; x <0 x ; 0≤x <1 1 ; 1≤x

(16.1)

・母平均

µ= Z ₁

0

x dx= x² 2

¯¯

¯¯

x=1 x=0

= 1

2 (16.2)

・母分散

σ² = Z ₁

0

x² dx−µ² = x³ 3

¯¯

¯¯

x=1 x=0

−1 4 = 1

12 (16.3)

(例)

区間

の一様乱数

p(x) = (

1/(b−a) ; a≤x < b

0 ; x < a || b≤x (16.4)

double get_myrandom(void){

double x;

double r;

r=uniform();

x= r*(b -a) + a ; return x;

}

1 2 3 4

0.20.4 0.60.81

F(x)

x

a= 1，b= 3

の場合

・累積分布関数

F(x) =







0 ; x < a (x−a)/(b−a) ; a ≤x < b

1 ; b≤x

(16.5)

・母平均

µ= Z _b

a

x

b−a dx= x² 2(b−a)

¯¯

¯¯

x=b x=a

= a+b

2 (16.6)

・母分散

σ² = Z _b

a

x²

b−a dx−µ² = x³ 3(b−a)

¯¯

¯¯

x=b x=a

− (a+b)²

4 = (b−a)²

12 (16.7)

(例)

p(x) =







1/2 ; 1≤x <2 1/4 ; 2≤x <4

0 ; x <1||4≤x

(16.8)

double get_myrandom(void){

double x;

double r;

r=uniform();

if( r < 0.5 ){

x= 2.0*r + 1.0;

} else {

x= 4.0*r ; }

return x;

}

1 2 3 4 5

0.2 0.4 0.6 0.8 1

1 2 3 4 5

0.1 0.2 0.3 0.4 0.5

F(x)

x

x p(x)

・累積分布関数

F(x) =











0 ; x <1 (x−1)/2 ; 1≤x <2 (x−2)/4 + 1/2 ; 2≤x <4

1 ; 4≤x

(17.1)

・母平均

µ= Z ₂

1

x 2 dx+

Z ₄

2

x

4 dx= x² 4

¯¯

¯¯

x=2 x=1

+ x² 8

¯¯

¯¯

x=4 x=2

= 9

4 (17.2)

・母分散

Z _∞

−∞

x² p(x)dx = Z ₂

1

x² 2 dx+

Z ₄

2

x²

4 dx= x³ 6

¯¯

¯¯

x=2 x=1

+ x³ 12

¯¯

¯¯

x=4 x=2

= 35 6 σ² = 35

6 − µ9

4

¶₂

= 37

48 (17.3)

・確率密度

に従う確率変数

を区間

の一様乱数

から作る方法，逆関数法 確率変数

が区間

の一様乱数

から

と作れたとする。このとき

Z _b

a

p(x)dx=P(a≤X < b) =P(f⁻¹(a)≤r < f⁻¹(b)) =f⁻¹(b)−f⁻¹(a) (17.4)

という関係がある。ただし

は

の逆関数を表す。式

と比較すると，f

を

の累 積分布関数

とすればよいことがわかる。従って

X =F⁻¹(r), F :

累積分布関数

によって確率変数

が区間

の一様乱数

から作れる。

(例)

コーシー

分布

p(x) = a π

1

a²+x² (18.1) F(x) = 1

πarctan

³x a

´ +1

2 (18.2)

X =a tan

³ (r−1

2)π

´

(18.3)

-4 -2 2 4

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

-4 -2 2 4

0.1 0.2 0.3

F(x)

p(x)

x

x

a= 1

の場合の図

指数分布；稀にしか起こらない現象が次に起きるまでの時間の分布

p(x) = a e^−ax, x≥0 (18.4)

F(x) = 1−e^−ax (18.5)

X =−1

a log(1−r) (18.6)

1 2 3 4 5

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

1 2 3 4 5

0.2 0.4 0.6 0.8 1

x

x p(x)

F(x)

a= 1

の場合の図

【問】

確率密度

p(x) = (

1−x/2 ; 0≤x <2

0 ; x <0||2≤x (18.7)

に従う確率変数

を一様乱数

から生成する関数を表す

のプログラム

を 書きなさい。

【答】

累積分布関数は

F(x) = x− x²

4 (18.8)

となる。一様乱数を

で表すと，X は

4

を

について解いて

1−r (18.9)

と表される。以下は

で書かれたプログラムの例を示す；

double Finverse(double r){

double x;

x= 2.0 - 2.0 * sqrt( 1.0 - r);

return x;

}

double get_myrandom(void){

double x;

double r;

r=uniform();

x=Finverse(r); /* Finverse

は累積分布関数の逆関数で, 上で定義される

return x;

}

・

つの確率変数

と

の間に関数関係

がある場合の確率密度の関係

であるとき，

P(a≤X ≤b) = P(A≤Y ≤B) = Z _B

A

pY(y) dy (19.1)

となる。ところが，関係

を用いて，積分変数を

から

に変えると

A

p_Y(y) dy= Z _b

a

p_Y(f(x)) df(x)

dx dx (19.2)

となるので結局

P(a≤X ≤b) = Z _b

a

pY(f(x)) df(x)

dx dx (19.3)

という等式が得られる。この式と

を比べると

の確率密度

と

の確率密度

の間に次の関係があることがわかる；

p_X(x) =p_Y(f(x)) df(x)

dx (19.4)

【問】

摩擦のない水平面

平面) 上の点

から物体をいろいろな向きに滑らせる。物体をど の向きにも一様にランダムに滑らすとする。物体が

軸を横切るときの

座標を確率変数

とする。X に対する確率密度

を求めなさい。

【答】

物体を滑らす向きと

軸との角度を

とする。物体が

軸を横切る場合のみ考えると，

は

−π/2< θ < π/2

の範囲にあるので

に対する確率密度

は

π , −π

2 < θ < π

2 (19.5)

となる。X

の関係があるので式

より

π 1

a²+x² (20.1)

となる。式

と比べると

はコーシー分布に従うことがわかる。

・2 つの確率変数に対する確率密度

2

つの確率変数

と

を考える。点

が

平面の領域

に属する確率

³

(X , Y)∈R

´

は確率密度

を用いて

(X , Y)∈R´

= Z Z

R

p(x, y) dxdy (20.2)

と表される。ここで，右辺は

変数の関数

の領域

での

重積分を表す。

【問】

1

回にジャンプする変位

が連続な値をとるランダムウォークを考える。S が確率密度

に従う場合を考える。時刻

のウォーカーの位置

が

とな る確率は確率密度

を用いて

P(a ≤X(t)< b) = Z _b

a

p(x, t)dx (20.3)

と表される。時刻

のウォーカーの位置

に対する確率密度

と

の 間の関係を表す式を求めなさい。

【答】

時刻

のウォーカーの位置

が

となる確率

は

となる確率に等しい。この確率は

つの確率変数

と

に対する確率 密度

を領域

で積分すれば得られる；

P(a≤X(t+ 1)< b) = Z Z

a≤x+s<b

w(s) p(x, t) dxds (20.4)

積分変数

の代わりに

を用いると

Z _b

a

dy Z _∞

−∞

ds w(s) p(y−s, t) (20.5)

となる。一方，X(t

に対する確率密度

を用いると

P(a≤X(t+ 1)< b) = Z _b

a

p(x, t+ 1) dx (20.6)

であるので，式

と

を比べて次の関係式が得られる；

p(x , t+ 1) = Z _∞

−∞

w(s)p(x−s , t) ds (20.7)

【問】

1

回にジャンプする変位

が確率密度

に従うランダムウォークを考え る。時刻

でウォーカーが位置

から出発する場合の，任意の時刻

での母平均と母分散を求めなさい。

【答】

一般の時刻

でのランダムウォークの母平均

Z _∞

−∞

xp(x, t) dx (21.1)

をプリント.13 と同様に計算してみよう。まず時間が

ステップ増えると

がどれだけ変化 するかを考える。式

より

µ(t+ 1) = Z _∞

−∞

xp(x, t+ 1) dx= Z _∞

−∞

dx x Z _∞

−∞

ds w(s)p(x−s , t) ds (21.2)

となる。積分変数

の代わりに

を用いると

µ(t+ 1) = Z _∞

−∞

dy Z _∞

−∞

ds (y+s)w(s)p(y , t)

= Z

−∞

dy y p(y , t) Z _∞

−∞

ds w(s) + Z

−∞

dy p(y , t) Z _∞

−∞

ds s w(s)

= µ(t) +µ_S (21.3)

が得られる。ここで

µ_S =E(S) = Z _∞

−∞

ds s w(s) (21.4)

は

回にジャンプする変位

の母平均を表す。µ(0) =

なので

µ(t) =µS t+X0 (21.5)

となる。

次に母分散を計算してみよう。時刻

でのランダムウォーカーの位置

の

乗の期 待値は

E

³

X(t+ 1)²

´

= Z _∞

−∞

x² p(x, t+ 1) = Z _∞

−∞

dx x² Z _∞

−∞

ds w(s) p(x−s , t) ds (21.6)

となる。上と同様に積分変数

の代わりに

を用いると次が得られる：

E

³

X(t+ 1)²

´

= Z _∞

−∞

dy Z _∞

−∞

ds (y+s)² w(s) p(y , t)

= Z _∞

−∞

dy y² p(y , t) Z _∞

−∞

ds w(s) + 2 Z _∞

−∞

dy y p(y , t) Z _∞

−∞

ds s w(s) +

Z _∞

−∞

dy p(y , t) Z _∞

−∞

ds s² w(s)

= E

³ X(t)²

´

+ 2µ(t)µ_S+E

³ S²

´

(21.7)

ここで

E

³ S²

´

= Z _∞

−∞

ds s² w(s) (22.1)

である。式

と式

より

³

X(t+ 1)²

´

−µ(t+ 1)²

= E(X(t)²) + 2µ(t)µ_S+E

³ S²

´

−

³

µ(t) +µ_S

´₂

= E(X(t)²)−µ(t)²+E

³ S²

´

−µ²_S =σ²(t) +σ²_S (22.2)

が得られる。

σ_S² =E

³ S²

´

−µ²_S (22.3)

は

回にジャンプする変位

の母分散を表す。ランダムウォーカーの母分散は

が

増えるご とに

だけ増加することがわかる。。σ

なので

σ²(t) = σ²_S t (22.4)

となる。

【問】

一回にジャンプする変位

が時刻

によって異なる確率密度

に 従うランダムウォークを考える。この場合には任意の時刻

での母平均と母分散 はどんな式で表されるだろうか？

【答】

上と同様に考えると

µ(t+ 1) = µ(t) +µ_S(t) (22.5)

σ²(t+ 1) = σ²(t) +σ_S(t)² (22.6)

となる。ここで

µ_S(t) =E

³ S(t)

´

= Z _∞

−∞

s w(s, t) ds (22.7)

は

の母平均，

σ_S(t)² =E

³

(S(t)−µ_S(t))²)

´

= Z _∞

−∞

s² w(s, t) ds−(µ_S(t))² (22.8)

は

の母分散を表す。これより

µ(t) = Xt−1

k=0

µ_S(k)+µ(0) (22.9)

σ(t)² = Xt−1

k=0

σ_S(k)² +σ(0)² (22.10)

と表せる。

・サンプル平均の母平均と母分散

1

回にジャンプする変位

が同じ確率密度

に従うランダムウォークを 考える。

X(t+ 1) =X(t) +S(t) (23.1)

なので，ウォーカーが

から出発する場合を考えると

Xt−1

k=0

S(k) (23.2)

となる。従って

と

より

個の独立な同じ確率密度に従う確率変数の和

S(0) +S(1) +· · ·+S(t−1) (23.3)

の母平均と母分散は，和の中のどれか

個の確率変数

の母平均や母分 散の

倍になることがわかる。

今，母平均が

，母分散が

である確率密度に従う確率変数を考える。この確率変数

個 から作られるサンプル平均

X¯_N = 1

N(X₁+X₂+· · ·+X_N) (23.4)

の母平均

と母分散

は

µ_N =µ₁, σ_N² = 1

Nσ²₁ (23.5)

となる。分散の平方根は確率変数の分布のばらつきの大きさの程度を表す量なので，

N

回の試行から得られたサンプル平均のばらつきの大きさは

√N

に比例して減少し ていく。

確率変数

が何かの測定値である場合を考えよう。いろいろな測定誤差のために得られた測 定値

は真の値

からずれる。しかし，何回も測定を繰り返して平均値を求めることで真の 値

からのずれが小さくなる確率が高まる。また，サンプル分散から母分散を推定する ことにより得られたサンプル平均

に含まれる誤差の大きさを見積もることができる。

＜注＞ 中心極限定理

サンプル平均

の従う確率密度は

で平均

，分散

の 正規分布

√2π σN

exp µ

−(x−µ_N)² 2σ_N²

¶

(23.6)

に近づくことが知られている。

・中心極限定理を利用して平均

の正規分布を作る方法

r₁, r₂,· · ·r_N

をそれぞれ区間

の一様乱数とする。，式

より

の平均と分散 は

と

なので

z =

µr₁+r₂+· · ·+r_N

N − 1

2

¶Á r 1

12N (24.1)

は平均

の確率変数となる。中心極限定理より

が大きくなると

の従う確率密度 は平均

の正規分布に近づく。実際上は

ぐらいで

は正規分布に近くなる。

＜注＞

つの確率変数

と

が 独立 であるということ

2

つの確率変数

と

が独立であるとは任意の関数

と

に対して

³

f(X) g(Y)

´

=E

³ f(X)

´ E

³ g(Y)

´

(24.2)

が成り立つことを意味する。

X

と

が離散的な値をとる確率変数の場合，これは積事象の確率がそれぞれの事象の確率の 積となること

P(X =x && Y =y) =P_X(X=x) P_Y(Y =y) (24.3)

を意味する。また，X と

が連続的な値をとる確率変数の場合，これは

の確率密度が

p(x , y) = p_X(x) p_Y(y) (24.4)

のように

つの関数の積となることを意味する。

今まで，考えたきたランダムウォークはウォーカーのいる位置

と次にジャンプする変位

が独立な確率変数の場合なので，式

や式

の結果は次のようにしても得られる；

E

³

X(t+ 1)²

´

= E

³

(X(t) +S(t))²

´

=E

³

X(t)²+ 2X(t) S(t) +S(t)²

´

= E

³ X(t)²

´ +E

³

2X(t)S(t)

´ +E

³ S(t)²

´

= E

³ X(t)²

´ + 2 E

³ X(t)

´ E

³ S(t)

´ +E

³ S(t)²

´

= E

³ X(t)²

´

+ 2 µ(t) µ_S +E

³ S(t)²

´

(24.5)