7 確率変数 2  積率母関数，確率変数の独立性

項目 積率母関数，独立な確率変数 記号 積率母関数 mX(t) =E[

e^tX]

公式 独立な確率変数 mX+Y(t) =mX(t)mY(t)

7.1

独立な確率変数

・2^{つの確率変数}X, Y について下記の条件が成立するとき，確率変数X^とY ^{は独立であるという．}

任意の実数x, yに対して，2つの事象{X≤x}^と{Y ≤y}が独立である．すなわち，

P{X≤x, Y ≤y}=P{X≤x}P{Y ≤y}, ∀x, y∈R

(同時確率P{X≤x, Y ≤y}がそれぞれの事象の確率の積P{X ≤x}P{Y ≤y}^に等しい)

・2つの確率変数X, Y が独立であるとき，X, Y を含む期待値の計算はそれぞれ個別に行えばよい．

和の期待値は，期待値の線形性から，常に（独立であっても独立でなくても）期待値の和である．

E[f(X) +g(Y)] =E[f(X)] +E[g(Y)]

積の期待値は，独立でない場合には，相互に影響しあうので，期待値の積と等しくはないが，

E[f(X)g(Y)]̸=E[f(X)]E[g(Y)] (XとY が独立ではないとき)

独立であれば，X, Y を含む期待値の計算はそれぞれ個別に行えばよいので，期待値の積と等し くなる．つまり，2^{つの確率変数}X, Y が独立であるとき，すべての関数f, g^について

E[f(X)g(Y)] =E[f(X)]E[g(Y)] (XとY が独立であるとき)

が成立する．（逆も正しい）

したがって，X, Y が独立であるとき，共分散は

Cov[X, Y] =E[XY]−E[X]E[Y] = 0である．

よって

V ar[X+Y] = V ar[X] + 2Cov[X, Y] +V ar[Y]

= V ar[X] +V ar[Y] (X^とY ^{が独立のとき})

7.2

積率母関数

・ 積率：モーメントE[Xⁿ]

・ 積率母関数

確率変数Xに対して，tを変数とする関数を期待値によって定義する．

m_X(t) =E[

e^tX]

mX を確率変数X^{の積率母関数}(moment generating function)と呼ぶ．名前が示唆する，積率母 関数がモーメントを生み出す関数であることは，テーラー展開を用いて次のように確認できる．

t^{を定数とみなして，}x^の関数e^txをx= 0の周りでテーラー展開する．

e^tx=

∑∞ k=0

(e^tx)(k)

|x=0

k! (x−0)^k=

∑∞ k=0

t^k k!x^k =

∑∞ k=0

x^k k!t^k 両辺のx^{に確率変数}Xを代入して期待値を取る．

E[ e^tX]

= E

[_∞

∑

k=0

X^k k! t^k

]

=

∑∞ k=0

E[ X^k] k! t^k すなわち

#

" ! m_X(t) =

∑∞ k=0

E[ X^k]

k! t^k= 1 +E[X]t+E[ X²]

2! t²+E[ X³]

3! t³+· · ·+E[Xⁿ]

n! tⁿ+· · ·

が得られた．積率母関数の展開式である右辺のt^{nの係数に}X^のn^{次モーメント}E[Xⁿ]^が現れて いる．一方で，上式は積率母関数m_X のt= 0の周りでのテーラー展開でもある．したがって，

テーラー展開の係数と微分の関係から，E[Xⁿ]^はm⁽ⁿ⁾_X (0)^{と等しい．}

m⁽ⁿ⁾_X (0) =E[Xⁿ]

このことは，積率母関数の定義式をtで微分しても得られる．

mX(t) =E[ e^tX]

⇒ m^′_X(t) =E[ Xe^tX]

⇒ m^′_X(0) =E[X]

⇒ m⁽²⁾_X (t) =E[

X²e^tX]

⇒ m⁽²⁾_X (0) =E[ X²]

⇒ m⁽³⁾_X (t) =E[

X³e^tX]

⇒ m⁽³⁾_X (0) =E[ X³]

したがって，積率母関数を得ることができれば，そこから平均，分散も計算できる．

E[X] =m^′_X(0), V ar[X] =E[X²]−(E[X])²=m⁽²⁾_X (0)−(m^′_X(0))²

7.3

分布と積率母関数

・ 分布

確率変数Xの分布は，その分布関数F_X で特徴づけられるが，実は，モーメントの集合 {E[X], E[X²], E[X³], . . . , E[Xⁿ], . . .}

によっても分布は特徴づけられる．したがって，これらモーメントを生み出す積率母関数m_X は 分布関数FX と同じ情報を持っている．

2つの確率変数X, Y が同じ分布関数を持つとき，X ∼Y と表記したが，それは，XとY のそれ ぞれの積率母関数が等しい，ということでもある．

X∼Y ⇔ F_X(x) =F_Y(x), ∀x∈R ⇔ m_X(t) =m_Y(t), ∀t∈R

・ 独立な確率変数

2つの確率変数X, Y から，別の確率変数X+Y を考えよう．その積率母関数は定義より m_X+Y(t) =E

[

e^t(X+Y) ]

=E[

e^tXe^tY]

である．最右辺の積の期待値が，期待値の積に変形できるかどうかは，X, Y ^{が独立かどうかに} 依存する．X, Y が独立であれば

m_X+Y(t) =E[

e^tXe^tY]

=E[ e^tX]

E[ e^tY]

=m_X(t)m_Y(t)

である．また，逆も真である．したがって，X, Y が独立かどうかは，m_X+Y とm_Xm_Y が等しい かどうかで定まる．

'

&

$

% X^とY ^は独立 ⇔ E[f(X)g(Y)] =E[f(X)]E[g(Y)], ∀f, g

⇔ m_X+Y(t) =m_X(t)m_Y(t), ∀t∈R

練習問題

Ex 7-1. 2つの確率変数X, Y は独立であれば Cov[X, Y] = 0 を示しなさい．

Ex 7-2. 2^{つの独立な確率変数}X, Y ^{を用いて，新たに}2^{つの確率変数を}

U =aX+bY, V =cX+dY (a, b, c, d^は定数)

とするとき，E[U], V ar[U], Cov[U, V]^をE[X], E[Y], V ar[X], V ar[Y]^{を用いて表しな} さい．

演習問題

Problem 7-1. a, bを定数としたとき，m_aX+b(t) =e^btm_X(at)を示せ．

Problem 7-2. mX(t) = 1

1−t^{2 のとき，}E(X)^とV ar(X)^{を求めよ．}

Problem 7-3. cX(t) = ln (mX(t))で定義される関数をキュムラント母関数という. c^′_X(0) =E(X), c⁽²⁾_X (0) =V ar(X)となることを示せ．

復習問題

Quiz 7-1. X^とY が独立のとき，以下の等式が成立することを示せ．

V ar[X+Y] =V ar[X] +V ar[Y]