担当:鹿野(大阪府立大学)
2014 年度前期
はじめに
前回の復習
正規分布X ∼ N(µ, σ2)。
標準正規分布Z ∼ N(0, 12)と、確率の計算。
今回学ぶこと
多次元の確率分布。
多次元分布と期待値。
テキスト該当箇所:7.1章。
1 多次元の確率分布
1.1
多次元の確率変数とその確率分布
ここまで(講義ノート#07 ∼ #11)のまとめ: の確率変数Xと、確率分布 f (x)。
⊲ 離散型:Pr(X = x) = f (x)。二項分布、ポアソン分布など。
⊲ 連続型:Pr(a < X < b) =ab f (x)dx。指数分布、正規分布など。
これから(講義ノート#12 ∼ #14)の目標:確率変数の 、(X, Y)の確率。
⊲ Pr(X = x, Y = y)や、Pr(a < X < b, c < Y < d)。
⊲ 注意:簡略化のため、「X = xで、 Y = y」の確率Pr({X = x} {Y = y})を、 単にPr(X = x, Y = y)と表記。
⊲ どうやって確率を割り振る?⇒同時確率分布。
1.2
同時確率分布
同時確率分布:複数の確率変数(X, Y)について、実現値のペア(x, y)に確率を与える確率
分布を、 と呼ぶ。
⊲ 同時分布、結合分布、多次元分布...呼び方はさまざま。
1
Pr(X = x, Y = y) = h(x, y) (1)
で得られるとき、h(x, y)を と呼ぶ。
⊲ h(x, y)の満たすべき性質:h(x, y)は確率なので
確率は非負: Pr(X = x, Y = y) = h(x, y) ≥ , (2) 確率の総和は1:
x
y
Pr(X = x, Y = y) =
x
y
h(x, y) = . (3)
例:(X, Y)の実現値が、それぞれx = 1, 3, 5、y = 2, 4, 6であるとする。
⊲ 実現値のペア(x, y)は3 × 3 = 9通り。
⊲ 各(x, y)について、確率Pr(X = x, Y = y)が次表で与えられている。
h(x, y) Y = 2 Y = 4 Y = 6
X = 1 0.2 0.1 0.1
X = 3 0.1 0.15 0.1
X = 5 0 0.1 0.15
⇒この表の任意のセルを数式で一般的に表したのが、(1)式。例えば
Pr(X = 1, Y = 4) = = 0.1. (4)
⊲ 全てのセルは非負で、合計すると1。∴確率関数の性質(2)式、(3)式を満たす。
Remark:... (1)式のh(x, y)は、単に実現値のペア(x, y)の確率Pr(X = x, Y = y)を列挙し ているだけ。
⊲ ∴一次元の確率関数Pr(X = x) = f (x)と、同じこと。
⊲ 上の数値例のような、Pr(X = x, Y = y) = h(x, y)の表を理解できれば十分。
同時確率密度関数:連続型の(X, Y)について、a < X < bかつc < Y < dの確率が二重積分
Pr(a < X < b, c < Y < d) =
b x=a
d y=c
h(x, y)dxdy (5)
で得られるとき、h(x, y)を (同時密度)と呼ぶ。
⊲ h(x, y)の満たすべき性質:離散型と同様、
確率は非負: h(x, y) ≥ 0 ⇒ Pr(a < X < b, c < Y < d) ≥ (6)
確率の総和は1: Pr(−∞ < X < ∞, −∞ < Y < ∞) =
∞ x=−∞
∞
y=−∞h(x, y)dxdy = . (7)
⊲ 注意:一次元の密度関数(講義ノート#07)と同様、連続型の確率では“≤”と“<”を 区別しない。
例:二次元の標準正規分布(図1)。
⊲ グラフの (横×縦×高さ)で、確率Pr(a < X < b, c < Y < d)を表現。(7)式
で、h(x, y)が作るグラフ全体の体積を1に基準化。
⊲ ...おおよそのイメージがつかめれば、十分。
x
y h(x,y)
図1:二次元の標準正規分布h(x, y)
1.3
周辺確率分布
周辺確率分布:同時分布h(x, y)が与えられたとき、 Pr(X = x) = f (x) =
y
h(x, y), Pr(Y = y) = g(y) =
x
h(x, y) (8)
を、X、Yの と呼ぶ。(連続型なら上式のを
で置き換え。)
⊲ h(x, y)の、 の側を足し合わせて潰す⇒ の周辺分布f (x)。
⊲ h(x, y)の、 の側を足し合わせて潰す⇒ の周辺分布g(y)。
⊲ ... コレも、数値例で理解するのが一番。
例:次の同時分布の、XとYそれぞれの周辺分布は?
h(x, y) Y = 8 Y = 9 f (x)
X = 1 0.1 0.1 0.2
X = 2 0.2 0.3 0.5
X = 3 0.1 0.2 0.3
g(y) 0.4 0.6
⊲ Xの周辺分布 f (x)を、(8)式の定義通り機械的に求めると
⎧⎪
⎪⎪
⎪⎪
⎨
⎪⎪
⎪⎪
⎪⎩
Pr(X = 1) = f (1) = + = 0.2
Pr(X = 2) = f (2) = + = 0.5
Pr(X = 3) = f (3) = + = 0.3
⇒ Pr(X = x) = f (x) =
⎧⎪
⎪⎪
⎪⎪
⎨
⎪⎪
⎪⎪
⎪⎩
0.2 for x = 1 0.5 for x = 2 0.3 for x = 3 .
(9)
∴「Yが8だろうが9だろうが、とにかくX = 1となる確率」が、Pr(X = 1) = f (1)。
⇒ x = 1, 2, 3全てについて並べると、Xの周辺分布Pr(X = x) = f (x)の出来上がり!
Pr(Y = y) = g(y) =
⎧⎪
⎪⎨
⎪⎪
⎩
0.4 for y = 8
0.6 for y = 9. (10)
⊲ 同時分布h(x, y)の表を作るとその「周辺」に現れるから、周辺分布。
Remark:簡単に言えば、周辺分布は前回まで登場した のこと。そ
れぞれX単体、Y単体の確率だけ与える。
⊲ h(x, y):(X, Y)の実現値ペア(X = x, Y = y)の確率を与える。
⊲ f (x):Yの結果は何でも良いから、とにかくX = xである確率を与える。(上の数値
例から明らか。)g(y)も同様。
⊲ Pr(X = x) = f (x)をウェイトに期待値をとれば、おなじみのE(X) =
xx f (x)。
2 多次元分布と期待値
2.1
確率変数の関数の期待値
確率変数の関数:二つの確率変数X、Yの関数をW = s(X, Y)と置く。
⊲ (X, Y)が確率的に動けば、Wも動く→Wの期待値は?
確率変数の関数の期待値:(X, Y)に依存する関数W = s(X, Y)の期待値を
E(W) = E [s(X, Y)] =
⎧⎪
⎪⎨
⎪⎪
⎩
xys(x, y)h(x, y) (離散型)
x
ys(x, y)h(x, y)dxdy (連続型) (11)
と定義する。
⊲ 確率Pr(X = x, Y = y) = h(x, y)をウェイトに、Wの実現値w = s(x, y)を 。
⊲ ∴一次元の関数の期待値(講義ノート#08)と、全く同じ発想。
例(再掲):周辺分布の数値例で使った(X, Y)について、W = s(X, Y) = X + Yと置く。
h(x, y) Y = 8 Y = 9 f (x)
X = 1 0.1 0.1 0.2
X = 2 0.2 0.3 0.5
X = 3 0.1 0.2 0.3
g(y) 0.4 0.6
⊲ 例えばX = 1、Y = 8が出るとWはw = 1 + 8 = ⇒その確率は、上の表から
Pr(X = 1, Y = 8) = h(1, 8) = 。
⊲ ∴全てのw = x + yを、各々の確率h(x, y)で加重平均すると
E(W) = (1 + 8)h(1, 8) + (1 + 9)h(1, 9) + · · · + (3 + 9)h(3, 9)
= 9 · 0.1 + 10 · 0.1 + · · · + 12 · 0.2 = . (12)
Remark:W = s(X, Y) = Xと置くと、その期待値は(周辺分布の定義(8)式に注意)、
E(W) = E(X) =
x
y
xh(x, y) =
x
x
y
h(x, y)
=周辺分布 f (x)
= . (13)
Xの分布 f (x)をウェイトにした、単なるXの期待値。Yも同様に、E(Y) =yyg(y)。
⊲ ∴(11)式の同時分布h(x, y)による期待値は、一次元の期待値の定義(講義ノート#08) とも「つじつま」が合う!
2.2
確率変数の和の期待値
和の期待値:W = s(X, Y) = aX + bYと置くと(a、bは定数)、その期待値は
E(aX + bY) = . (14)
∴形式上、分配法則が成立。ただし、 E(aX + bY) =
x
y
(ax + by)h(x, y), E(X) =
x
x f (x), E(Y) =
y
yg(y). (15)
それぞれ 確率分布h(x, y)、f (x)、g(y)による期待値。(連続型も同様。)
⊲ 周辺分布 f (x)、g(y)が分かる場合は、(14)式右辺で和の期待値を求める方がラク。
⊲ 証明:離散型のみ示す。周辺分布の定義(8)式に注意すると、 E(aX + bY) =
x
y
(ax + by)h(x, y) =
x
y
(ax)h(x, y) +
x
y
(by)h(x, y)
= a
x
x
y
h(x, y)
=X の周辺分布 f (x)
+b
y
y
x
h(x, y)
=Y の周辺分布 g(y)
= a
x
x f (x) + b
y
yg(y) = aE(X) + bE(Y). (16)
⊲ 注意:分布の違いを明確にするために、(14)式を
EX,Y(aX + bY) = aEX(X) + bEY(Y) (17)
と表記することも。
例(再掲):上の数値例で既に求めたW = X + Yの期待値(12)式を、(14)式を利用して求 める。
⊲ 周辺分布は(9)式、(10)式。⇒X、Yの期待値は
E(X) = 1 · 0.2 + 2 · 0.5 + 3 · 0.3 = . (18)
E(Y) = 8 · 0.4 + 9 · 0.6 = . (19)
E(X + Y) = E(X) + E(Y) = 2.1 + 8.6 = . (20)
同時分布h(x, y)から求めたWの期待値(12)式と、全く同じ。(計算はコチラの方が
はるかに簡単。)
Remark:(14)式からE(X + Y) = E(X) + E(Y)だが、「特別な場合」を除き
. (21)
間違いやすいので、要注意!
⊲ 「特別な場合」とは?⇒XとYが独立な場合(詳しくは講義ノート#13、#14。)
まとめと復習問題
今回のまとめ
多次元の確率変数と確率分布:同時分布h(x, y)。
多次元分布h(x, y)、周辺分布 f (x)、g(y)による期待値。
復習問題
出席確認用紙に解答し(用紙裏面を用いても良い)、退出時に提出せよ。
1. 同時分布h(x, y)と周辺分布 f (x)、g(y)の違い(役割)を、簡潔に述べよ。
2. 次の同時分布h(x, y)に従う確率変数(X, Y)を考える。Xの実現値はx = 0, 1、Yの実現値 もy = 0, 1。
h(x, y) Y = 0 Y = 1 f (x)
X = 0 0.4 0.3
X = 1 0.2 0.1
g(y)
(a) X、Yの周辺分布 f (x)、g(y)を求めよ。
(b) W = X + Yと置く。Wの期待値E(W) = E(X + Y)を求めよ。h(x, y)から求めても、周 辺分布から求めても、どちらでも良い。