『新しい計量経済学』 鹿野研究室 slide03

計量経済学_#03

確率論：確率変数と確率分布 ₍₂₎

鹿野繁樹

大阪府立大学

2017 年 10 月更新

Outline

1 正規分布

2 二次元の確率変数

テキスト・参考書。

テキスト：鹿野繁樹 [2015]、第 2.3 章・第 2.4 章。 参考書：松原望 et al. [1991]。

前回の復習

1 _{確率変数とその分布} 2 _{期待値と分散}

Section 1

正規分布

正規分布の特徴

連続型確率変数_{X の確率}Pr(a ≤ X ≤ b) =^_a^bf(x)dx が密度関数 f(x) = _√ ¹

2πσ^2e

− ¹

2σ2^(x−µ)

2, −∞ < x < ∞ ⁽¹⁾

で与えられるとき、この_{f(x) を}正規分布と呼ぶ。 統計学で最も重要な確率分布のひとつ。

π≈ 3.14 は円周率、e ≈ 2.72 は自然対数の低（ネイピア数）。 いずれも定数。

µ（ミュー）と σ^{2（シグマ}2 乗）は、期待値と分散。

公式 _{1 (} 正規確率変数の期待値・分散 ₎

X が正規分布に従うならば、その期待値・分散は

E(X) = µ, Var(X) = σ². (2) 証明：松原 望 et al. [1991] 参照．

正規分布（normal distribution）の姿は µ と σ^{2の値で決まる} ので、

X _{∼ N(µ, σ}²) と略記。

図1：異なる正規分布 N(−3, 1.5^{2)、N(5, 22)、N(15, 12)。}

−10 −5 0 5 10 15 20

0.00.10.20.30.4

f(x)

N(−3, 1.5²)

N(5, 2²)

N(15, 1²)

図 1 : 期待値_µ・分散_σ²が異なるさまざまな正規分布_{N(µ, σ}²₎

(1) 式を暗記するより、次の点をグラフで確認することが重要！

Remark 1

正規分布_{N(µ, σ}²) は、期待値 µ を中心に左右対称の釣鐘型。 期待値µ が大きいほど，分布の中心は右にシフト。 分散_σ²が大きいほど，分布の散らばりが拡大。

正規分布の基本性質。

公式 ₂

X _{∼ N(µ, σ}²) ならば、その一次式 Y = a + bX の分布は

Y ∼ N(a + bµ, b^{2σ2). (3)} 証明：松原 望 et al. [1991] 参照．

∴_{X ∼ N(µ, σ}²) を一次変換すると、

期待値は_{µ→ a + bµ}、分散は_σ²_{→ b}²_σ²に変換。 一方、分布型は正規分布（左右対称・釣鐘型）のまま！

例：_{X ∼ N(0, 2}²) を Y = 3 + X に変換 ⇒3 だけ分布の中心が 右にシフトし_{Y ∼ N(3, 2}²_)。

注意：X が正規分布でなくとも、一般的にE(Y ) = a + bµ、 Var(Y ) = b²σ^{2（講義ノート}#02）。

標準正規分布と「 _±2 の壁」

正規確率変数_{X ∼ N(µ, σ}²_{) を}標準化：

Z = ^{X− E(X)}

Var(X) ⁼

X_{− µ} σ ^.

標準化=「まず期待値を引き、次いで標準偏差で割る」。

標準化によりX は、期待値がゼロ、分散が1 の特殊な正規分 布、標準正規分布_Z ∼ N(0, 1) となる。

公式 _{3 (} 正規分布の標準化 ₎

X _{∼ N(µ, σ}²) _−−−→^標準化 Z = ^{X− µ}

σ ^{∼ N(0, 1). (4)} 証明：_{Z = −}^µ

σ ⁺ 1

σ^X = a + bX と置けば，X の一次式なので，公 式_{(3) より}

Z _{∼ N}



−^µ_σ ⁺_σ^1µ

=0

, ¹ σ^2σ

2

=1



−−→整理 ^Z ∼ N(0, 1).

X から期待値 µ を引くと，正規分布の重心がゼロに横滑り。 次いで標準偏差（分散の平方根）σ で割り、分布の広がり具 合を丁度_{1 に調整。}

標準正規分の密度関数は，(1) 式で µ = 0，σ² = 1 と置いた φ(z) = _√¹

2π^e

−1

2^z2_{. (5)}

⇒ Z ∼ N(0, 1)，Z ∼ φ(z) などと略記。（φ は「ファイ」または

「フィー」。）

図2 A：N(0, 1) のグラフ。

Z が−2 を下回る確率、+2 を上回る確率は、非常に小さい。

∴_{Z の尺度で見れば、}±2 は大きな「壁」！

Remark 2

±2 の壁：Z ∼ N(0, 1) は，およそ ±2 の範囲までの確率をカバー。

∴Z のスケールで考えると、−2 以下・+2 以上という実現値は極 端に小さな・大きな値。めったに起こらない。

−3 −2 −1 0 1 2 3

0.00.10.20.30.4

z

f(x)

A: Z ~ N(0,1)

0.00.10.20.30.4

z

f(x)

0 z=1.96 α=0.025 1−α

α B: α=Pr(Z>1.96)=0.025

図2 : 標準正規分布_{Z ∼ N(0, 1)}

Pr(Z < z) Pr(Z > z) 確率 _{0.01 0.025 0.05 0.05 0.025 0.01} 臨界値_z −2.326 −1.960 −1.645 1.645 1.960 2.326

分布の左端_{← → 分布の右端}

表 1 : _{Z ∼ N(0, 1)}の臨界値

表1：Z が定数 z を下回る確率 Pr(Z < z)・上回る確率 Pr(Z > z) を、正確に計算⇒ Z の 5%、2.5%、１%^臨界値。

図2 B：Z の右端 2.5%臨界値、z = 1.960 ≈ 2 を図示。斜線部 α の面積が確率Pr(Z > 1.960) = 0.025 に相当。

Z の対称性⇒ Pr(Z < −1.960) = Pr(Z > 1.960) = 0.025。

標準正規分布の使い方

X を Z に標準化する理由：X の実現値 x^{∗を観測したとき、その} x^∗が「十分大きいか、それともありふれた値か」を客観的に判断。

Example 1

ある湖に住む魚の体長（cm）の分布は X ∼ N(20, 5^{2)。A さんは} 32cm の魚を釣り上げた。⇒ X = 32 を標準化し、Z ∼ N(0, 1) のス ケールに直せば

z^∗ = ^{32 − 20}

5 ^{= 2.4.}

一方表1の Z の臨界値より Pr(Z > 2.326) = 0.01。∴ この魚は 1%以下の確率でしかお目にかかれない、非常に大きな魚。

このコースでは、図2 B で見た Z の 2.5%臨界値 z = 1.960 ≈ 2 を

「十分大きな値」と置く。（この値は、成人男性の身長_{187cm ぐら} いに相当。）

Remark 3

X _{∼ N(µ, σ}²) を標準化する目的：実現値 X = x^∗を、Z = z^∗のス ケールに換算して「大小」の判断。

1 _|z^∗| > 1.960 → x^∗は極端に大きい（極端に小さい）。

2 _|z^∗| < 1.960 → x^∗は大きくも小さくもない。

Section 2

二次元の確率変数

結合分布

複数の確率変数を、同時に扱うには？_⇒結合分布（同時分布）。 表2：ある二つの確率変数 X と Y は、実現値 x = {1, 3, 5} と y= {2, 4, 6} が起こり得るとする。

さらに実現値のペアの確率が、表2で与えられるものと仮定。 例えば「_{X = 1}で、かつ_{Y = 6}」の確率（結合確率）は、表よ りPr(X = 1, Y = 6) = 0.1^。

h(x, y) Y = 2 Y = 4 Y = 6 X = 1 0.2 0.1 0.1 X = 3 0.1 0.15 0.1 X = 5 0 0.1 0.15

表2 : 結合分布の例

二つの確率変数(X, Y ) について、実現値のペアを (xj^{, y}s) と表せ ば、その結合分布は一般的に

Pr(X = xj, Y = ys) = h(xj, ys). (6)

一次元の確率分布f(x) 同様、h(xj, ys) が確率であるためには、 h(xj, ys_{) ≥ 0,}



j



s

h(xj, ys) = 1. (7)

表2はこれらの性質を満たす。 注意：二重和「



j



s^」は，表2の全セル（全組み合わせ）の 和をとる作業の、数式表現。

X と Y の和・積の期待値は、 E(X + Y ) =^

j



s

(xj + ys)h(xj^{, y}s), (8) E(XY ) = ^

j



s

xjysh(xj, ys). (9)

X+ Y や XY をひとつの確率変数と考えれば、一次元の期待 値と同じこと。

Example 2

表2の結合分布について，和の期待値 E(X + Y ) は E(X + Y ) = (1 + 2)h(1, 2) + (1 + 4)h(1, 4) + · · ·

+ (5 + 6)h(5, 6) = 6.8.

結合分布_h(x, y) と、X 単体の分布 f (x) との関係は？⇒ 表 2から、

「_{Y が}2 だろうが 4 だろうが 6 だろうが，とにかく Pr(X = x) とな る確率」を求めると、

f(x) =

⎧

⎪⎨

⎪⎩

0.2 + 0.1 + 0.1 = 0.4 (x = 1) 0.1 + 0.15 + 0.1 = 0.35 (x = 3) 0 + 0.1 + 0.15 = 0.25 (x = 5) .

これを_{X の}周辺分布と呼ぶ。 Y の周辺分布も同様に、

g(y) =

⎧

⎪⎨

⎪⎩

0.3 (y = 2) 0.35 (y = 4) 0.35 (y = 6) .

f(x)、g(y) から、X と Y それぞれの期待値 E(X)、E(Y ) が定 義できる。

E(X + Y ) や E(XY ) と、E(X)、E(Y ) の関係は？

公式 _{4 (} 確率変数の和・積の期待値 ₎

E(X + Y ) = E(X) + E(Y ), (10) 特殊ケースを除きE(XY ) = E(X)E(Y ). ⁽¹¹⁾ 証明：テキスト_{p35 参照。}

(10) 式は期待値演算の「分配法則」。

(11) 式に注意。一般に、「積の期待値」と「期待値の積」は異 なる。

共分散と和の分散

二つの確率変数_{(X, Y ) の}共分散（covariance）

Cov(X, Y ) = E [(X − E(X))(Y − E(Y ))] ⁽¹²⁾ は、(X, Y ) の共変動を測る指標。

期待値E(X)、E(Y ) を軸に、実現値 (xj, ys) が 同方向に動けば_{(xj − E(X))(ys}− E(Y )) > 0^。 逆方向に動けば_{(xj − E(X))(ys}− E(Y )) < 0^。

⇒ 期待値をとり Cov(X, Y ) > 0 なら正、Cov(X, Y ) < 0 なら 負の相関。

∴ データの共分散_sXY（講義ノート#01）と同じ考え方。

公式 _{5 (} 分散の別表現 ₎

Cov(X, Y ) = E(XY ) − E(X)E(Y ). ⁽¹³⁾ 証明：分散の別表現（講義ノート#02）の証明手順を参照．

定義(12) と比較し、扱いやすい方を用いればよい。

確率変数の和_X+ Y の分散は、次式で定義される。

Var(X + Y ) = E[(X + Y ) − E(X + Y )]^{2 . (14)} X+ Y をひとつの確率変数と考えれば、一変数の分散と同じこと。

公式 _{6 (} 確率変数の和の分散 ₎

Var(X + Y ) = Var(X) + 2Cov(X, Y ) + Var(Y )

= Var(X) + Var(Y ). ⁽¹⁵⁾

∴ 和の分散は、共分散と密接な関係。

Cov(X, Y ) = 0 という特殊な状況でない限り、「和の分散」と

「分散の和」は異なる。

証明：(14) 式右辺を展開・整理すれば Var(X + Y )

= E(X − E(X) + Y − E(Y ))^2

= E(X − E(X))²+ 2(X − E(X))(Y − E(Y )) + (Y − E(Y ))^2

= E(X − E(X))^2

=Var(X)

+2 E [(X − E(X))(Y − E(Y ))]

=Cov(X,Y )

+ E(Y − E(Y ))^2

=Var(Y )

= Var(X) + 2Cov(X, Y ) + Var(Y ).

確率変数の独立性

二つの確率変数(X, Y ) の全ての実現値に関し h(x, y)

=Pr(X=x,Y =y)

= f_{(x) × g(y)}

=Pr(X=x)×Pr(Y =y)

(16)

が成立するとき、_{X と Y は互いに}独立。

より一般的には、二つの事象A と B の結合確率が Pr(A, B) = Pr(A) Pr(B) のとき、両者は互いに独立。

確率変数が独立な場合だけ成立する，非常に重要な性質！

公式 _{7 (} 独立な確率変数の性質 ₎

(X, Y ) が独立ならば、

E(XY ) = E(X)E(Y ), (17) Cov(X, Y ) = 0 (∴ 無相関), (18) Var(X + Y ) = Var(X) + Var(Y ). (19) 証明：(17) 式の証明はテキスト p35 参照。(17) 式を (13) 式に代入 して(18) 式を、(18) 式を (15) 式に代入して (19) 式を得る。

(X, Y ) が独立ならば、E(XY ) や Var(X + Y ) の計算がとても 簡単に。

Remark 4

表3：(X, Y ) が独立でないケースと、独立なケースを比較。

独立でない 独立

定義 _h(x, y) = f(x)g(y) h(x, y) = f (x)g(y)

⇓ ⇓

積_XY の期待値 E(XY ) = E(X)E(Y ) E(XY ) = E(X)E(Y )

⇓ ⇓

共分散 Cov(X, Y ) = E(XY ) Cov(X, Y ) = 0

−E(X)E(Y ) = 0

⇓ ⇓

和_{X+ Y} の分散 Var(X + Y ) = Var(X) Var(X + Y ) +2Cov(X, Y ) + Var(Y ) = Var(X) + Var(Y ) 和_{X+ Y} の期待値 いつでもE(X + Y ) = E(X) + E(Y )

表3 : 確率変数_{(X, Y )}の独立性

最後に、独立な正規確率変数に関し成立する重要な性質、正規分 布の再生性。

公式 _{8 (} 正規分布の再生性 ₎

二つの確率変数(X, Y ) が互いに独立で、かつ X ∼ N(µ^{X, σ2}X^)、

Y _{∼ N(µ}Y, σ_Y²) ならば、和 X + Y の分布は

X_{+ Y ∼ N(µX} + µY^{, σ2}X ^{+ σ}Y^{2). (20)}

証明：松原 望 et al. [1991] 参照．

∴ 正規確率変数を足し合わせると、その和もやはり正規分布 に従う。

今回の復習問題

次の設問に答えよ。各自用意した紙に解答し、退出時に提出せよ。 講義名、日付、学籍番号、氏名を明記すること。

1 _{テキスト第}2 章復習問題 2.5。

2 _確率変数(X, Y ) について、次の結合分布を考える。 h(x, y) Y = 0 Y = 1

X = 0 0.2 0.2 X = 1 0.2 0.4

和の期待値E(X + Y ) と、積の期待値 E(XY ) をそれぞれ求め よ。（テキスト第2 章復習問題 2.6 の類題。）

References

鹿野繁樹. 新しい計量経済学. 日本評論社, 2015.

松原望, 縄田 和満, and 中井 検裕. 統計学入門. 東京大学出版会, 1991.