計量経済学#18
回帰分析の再構築 (1)
鹿野繁樹
大阪府立大学
2017 年 12 月更新
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 1 / 27
Outline
1 条件付き期待値関数
2 母回帰
テキスト：鹿野繁樹 [2015]、第 10.1 章・第 10.2 章。
前回の復習
1 漸近理論
2 推定量の漸近的性質
Section 1
条件付き期待値関数
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 3 / 27
条件付きの確率分布と期待値
今回以降の目的：新しい回帰分析。
経済学で使うデータ（= 非実験データ）は、古典的仮定と合 わない。⇒OLS 推定がうまく機能しない可能性。
より現実的な、新しい前提条件のもとで、OLS の性質を検証。
「二つの確率変数X と Y の関係性をモデル化する」ことからス タート。
二次元確率変数(X, Y ) に確率を与える、結合確率分布 Pr(X = x, Y = y) = h(X, Y )。（講義ノート#03。）
X，Y 単体の確率は、それぞれの周辺分布Pr(X = x) = f (x)， Pr(Y = y) = g(y) が与える。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 5 / 27
新たな確率概念:「X = x」が確定した（それを見た・知らされた） という前提のもとで、「Y = y」が起こる確率
Pr(Y = y|X = x) = g(y|x). (1) を条件付き確率分布と呼ぶ。
縦棒“|” のあとは「○ ○ が起こったとき」という条件。（割り 算ではない！）
条件付き確率は、X の結果に応じてアップデートされる Y の 確率。⇒ X = x 次第で何通りも存在。
一方周辺分布Pr(Y = y) = g(y) は、X の結果を見ずに・知ら ずに考えたY = y の確率。∴ X が Y の予測に有益である限 り、条件付き分布= 周辺分布。
Remark 1
周辺分布（普通の確率分布）と条件付き分布の違い。
周辺分布Pr(Y = y) = g(y)：X = x を考慮せずに与えた Y = y の確率。
条件付き分布Pr(Y = y|X = x) = g(y|x)：X = x を考慮して 与えたY = y の確率。∴ X = x に依存して、何通りも存在し うる。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 7 / 27
Example 1
箱に100 枚のくじ、うち当たりが 40 枚。外れを Y = 0、当たりを Y = 1 と置く。いま、すでに 10 人がくじを引いている。彼らのう ちX = 3, 5 人が当たりを引いたとき、Y = 1 の条件付き確率は
Pr(Y = 1|X = 3) = 40 − 3 100 − 10 =
37
90, Pr(Y = 1|X = 5) = 7 18.
(2) 同様に、もしX = 10 ならば Pr(Y = 1|X = 10) = 13。
Y の条件付き分布の数学的定義は、周辺分布と同時分布の比 g(y|x) = h(x, y)
f(x) , (3)
すなわち
Pr(Y = y|X = x) = Pr(X = x, Y = y)
Pr(X = x) . (4) 確率変数の独立性の定義（講義ノート#03）は
h(x, y) = f (x)g(y). (5)
∴X と Y が独立ならば
g(y|x) = f(x)g(y)
f(x) = g(y). (6)
「X = x を見て決めた Y の確率」と「X = x を見ずに決めた Y の確率」が一致。
独立とは「Y の予測に関し X を見ても意味がない」状況。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 9 / 27
通常の周辺分布g(y) ではなく g(y|x) = Pr(Y = y|X = x) でウェイ ト付けしたY の期待値
m(x) = E(Y |X = x) =yg(y|x) (7) を、条件付き期待値と呼ぶ。
通常のE(Y ) = yg(y)：X を無視した、Y の無条件期待値。 条件付き期待値：X = x に応じて変化する Y の期待値。 同様に、条件付き分散は
v(x) = Var(Y |X = x) = E(Y − E(Y |X = x))2|X = x
=(y − m(x))2g(y|x). (8) m(x) = E(Y |X = x)、v(x) = Var(Y |X = x) ともに、X の結 果x に依存。
条件付き期待値関数
条件付き期待値m(x) = E(Y |X = x) は、X = x を固定したもとで のY の期待値であり、定数。⇒ X が確定する事前の段階では、
m(X) = E(Y |X) (9) はX に依存して確率的に変動。これを条件付き期待値関数
（conditional expectation function、CEF）と呼ぶ。
実現値X = x が確定した m(x) は定数、X が未決定の m(X) は確率変数。
両者の区別は、中級レベルの計量経済学を理解する上で重要。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 11 / 27
Example 2
サイコロを振って出た目の2 乗 ×100 円だけお金がもらえるゲーム を考える。X をサイコロの目（実現値 x= {1, 2, 3, 4, 5, 6}）、もら えるお金をY と置けば、Y のCEF は
m(X) = E(Y |X) = 100X2. (10)
X = 3 が出たなら、E(Y |X = 3) = m(3) = 100 · 32 = 900 は明 らかに定数。
しかしX は事前に不確定⇒ m(X) は X 次第で確率的に変動。
Remark 2
期待値のいろいろ。
通常の期待値E(Y )：確率変数 Y の代表値。X を見ていない。 条件付き期待値m(x) = E(Y |X = x)：特定の X = x を見たう えでの、Y の期待値。x に応じて多数存在するが、そのひと つひとつは定数。
条件付き期待値関数m(X) = E(Y |X)：X を不定の確率変数 ととらえた場合の、条件付き期待値。X が確率変数なので、 m(X) も確率変数。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 13 / 27
計量経済学でよく使われるCEF の性質。
公式 1 (CEF の演算公式 )
定数a, b について、
E(a + bY |X) = a + bE(Y |X), (11) E [s(X)Y |X] = s(X)E(Y |X). (12) ただしs(X) は X の関数。
証明：章末付録参照．
公式(11) は、通常の期待値 E(a + bX) = a + bE(X) と同様。 公式(12)：Y = 1、s(X) = X ならば、E(1|X) = 1 なので
E(X|X) = X. (13) 常にX を確認できるならば、X の期待値として X そのもの
m(X) = E(Y |X) は確率変数、期待値は？⇒ m(X) の不確実性の 源泉である、X の分布 f(x) で期待値をとれば
EX[E(Y |X)] = EX [m(X)] =
x
m(x)f (x). (14) f(x) をウェイトにした期待値なので、EX(·) と表記。
m(x) = E(Y |X = x) の定義に注意して上式を展開すると
EX[E(Y |X)] =
x
=m(x)
y
y g(y|x)
=h(x,y)/f (x)
f(x)
=
x
y
yh(x, y) =
y
y
x
h(x, y) (15)
xh(x, y) = g(y) なので、結局上式は EX[E(Y |X)] =
y
yg(y) = E(Y ). (16)
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 15 / 27
この性質を繰り返し期待値の法則と呼ぶ。
公式 2 ( 繰り返し期待値の法則 )
条件付き期待値関数m(X) = E(Y |X) に関し、f(x) をウェイトに 期待値をとると、
E(Y ) = EX[E(Y |X)] . (17) 証明：前段で証明済み。
上式右辺：X = x のすべての場合について、m(X) = E(Y |X) の加重平均をとる。
「（条件付き）期待値の期待値をとると、期待値になる」！... 無条件のE(Y ) と条件付きの E(Y |X) を関係づける、重要な 性質。
Example 3
サイコロのゲーム・再考：もらえるお金Y の条件付き期待値関数 は(10) 式の通り。
Y の分布 g(y) が不明なので、直接期待値 E(Y ) = yg(y)を 計算できない。
しかし繰り返し期待値の法則を使えば E(Y ) = EX[E(Y |X)] = EX(100X2)
= 100 6 1
2+ 100
6 2
2 + · · · +1006 62
≈ 1516.17. (18) ただし等確率f(x) = 1
6 で各目がでることが前提。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 17 / 27
Section 2
母回帰
条件付き期待値から回帰分析へ
いま、二次元の母集団分布h(x, y) から抽出されたサンプル数 n の 標本(Xi, Yi) があり、これに基づく YiのCEF
E(Yi|Xi) (19) の推定を考える。このとき上式を母回帰関数と呼ぶ。
上式は抽象的なので、具体的な線形回帰モデルを仮定。 E(Yi|Xi) = α + βXi (20) 多次元の母回帰関数として、線形の重回帰モデルでもよい。
E(Yi|X1i, X2i, . . . , Xki) = α + β1X1i+ β1X1i+ · · · + βkXki
(21) 線形性の仮定⇒母回帰係数の推定に目標が集約される。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 19 / 27
(20) 式は E(Yi|Xi) と Xiの関係。YiとXiの依存関係を直接表すも のではない。
YiとXiの関係は、誤差項uiを用い次式で表す。
Yi = α + βXi+ ui. (22) おなじみの回帰モデルが、ようやく登場。
注意：古典的仮定と異なり、説明変数Xiは確率変数。∴ 上式 右辺に、二つの確率変数Xiとuiが存在。
(22) 式が (20) 式と矛盾しないためには、uiとXiが外生性の仮定
E(ui|Xi) = 0. (23) を満たさなければならない。
この条件下で(22) 式の条件付き期待値をとれば E(Yi|Xi) = E (α + βXi+ ui|Xi)
= α + β E(Xi|Xi)
=Xi
+ E(ui|Xi)
=0
= α + βXi (24)
となり，(20) 式と同値。
外生性が成立せず、例えばE(ui|Xi) =
√Xi = 0 ならば、
E(Yi|Xi) = α + βXi+Xi. (25) (20) 式と矛盾！
外生性は重要な仮定。⇒ 次回以降、詳しく議論。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 21 / 27
ノンパラメトリック推定
少しだけ寄り道：線形回帰以外の方法による条件付き期待値関数 の推定は？
事前に関数型（一次関数など）の仮定を置かずに、データだ けを頼りにE(Yi|Xi) の推定。
このアプローチをノンパラメトリック推定と呼ぶ。
Xiが有限の実現値x= {x1, x2, . . . , xp} しかとらず、各実現値につ いて十分サンプル数が多いケース。
この場合、Yiの個々の条件付き期待値m(xs) = E(Yi|Xi = xs)
（s= 1, 2, . . . , p）を、グループの標本平均 ˆ
m(xs) = ¯Ys= 1 ns
Xi=xs
Yi, s= 1, 2, . . . , p (26)
で推定可能。（
Xi=xs は、Xi = xsに該当する観測の和をと る、という意味。）
例：Xi = 1, 2, 3, . . . が子どもの数、Yiが母親の労働時間。⇒
子どもの数毎にYiの平均を求めればよい。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 23 / 27
Xiが区間x= [xmin, xmax] の任意の点を連続的にとるケース。 グループが無数にできる⇒ グループに分けて平均をとるのは
（該当サンプルが少ないので）難しい。 次の方法でm(X) を推定。
1 Xiの最大値・最小値の間に、適当な点
xmin < x1 < x2< . . . < xp< xmaxを定める。
2 以下のように、xsの近傍の平均値を求める。 ˆ
mh(xs) = 1 ns
Xi=xs±h
Yi, s= 1, 2, . . . , p. (27)
定数h だけ幅を持たせてグループを作るので、厳密に Xi = xs
に該当する個体でグループ分けするよりも観測が増える！ このh をバンド幅（bandwidth）と呼ぶ。
ノンパラメトリック推定は重要なテクニックだが、線形回帰ほど の人気はない。
ノンパラメトリックの難点
最適なバンド幅hの決定に、高度な技術。
重回帰に拡張すると、説明変数の実現値の組み合わせ（グルー プ）が大幅増⇒グループあたりのサンプル数が激減。
得られた回帰関数をどう解釈すればよいのか？ 線形回帰のメリット
重回帰であっても、高々(k + 1)のパラメータを推定するだけ。
（2次関数モデルで曲線の描写も可能。） 推定結果の解釈も明確。
∴ このコースでは、線形回帰モデルに集中。
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 25 / 27
今回の復習問題
次の設問に答えよ。各自用意した紙に解答し、退出時に提出せよ。 講義名、日付、学籍番号、氏名を明記すること。
1 テキスト第10 章復習問 10.1。
2 テキスト第10 章復習問 10.2。
References
鹿野繁樹. 新しい計量経済学. 日本評論社, 2015.
鹿野繁樹 (大阪府立大学) 計量経済学#18 2017 年 12 月更新 27 / 27
