回帰分析の再構築・改訂版 計量経済学 鹿野研究室 note19

担当：鹿野（大阪府立大学）

2013 年度後期

はじめに

前回の復習

 条件付き期待値関数 （_CEF）。

 回帰分析＝母回帰関数の推定。

今回学ぶこと

 回帰分析の根源的仮定 ：外生性と標本の独立性。

 モーメント法（_MM）による回帰係数の推定。

 テキスト該当箇所 ：_10.1章。東大出版会（₁₉₉₁）の_p216も参照。

1 回帰分析の根源的仮定

1.1 確率的説明変数と根源的仮定

 確率的説明変数：回帰分析の目的（講義ノート_#18）_⇒線形の母回帰関数

E(Y_i|X_{i) = α + βXi} (1)

の、母回帰係数_{(α, β)}を統計的に推測。

⊲ ^{コレはあくまで} Yi^{の期待値 と}Xi^{の関係。⇒}データとして観測される_Yi自体と X_iの関係を、これまで通り 回帰式

Y_{i= α + βXi+ ui} (2)

で表す。（_uiは誤差項。）

⊲ ^注意：X_i^{は 確率的説明変数 。}

 _Remark：_Xiは、分析者にとって_Yiと同じくランダム。

⊲ ∴古典的仮定（講義ノート_#08：_Xiは非確率的₎よりも、経済・経営学で扱うデータ

（ 非実験データ ）にマッチした状況。

⊲ ^{例：母集団分布}h(x, y)^{から、年齢}Xi^と所得Yi^の標本(Xi^{, Y}i^)をn^{人分抽出。} 1

⊲ 回帰式右辺に、 二つの確率変数_Xi、_ui。

⊲ どんな前提条件を満たせば、うまく回帰係数を推定できるか？_⇒Xiと_uiに、古典的 仮定に代わる仮定が必要。

 以下の仮定を、 回帰分析の 根源的仮定 （fundamental assumptions^、FA^{）と呼ぶ。}

⊲ FA1^{（外生性）：説明変数}X_i^{は、 外生変数 である。}

E(u_i|X_{i) = 0} (3)

⊲ FA2^{（独立標本）：標本中の異なる観測}(X_i, Y_i)^と(X_j, Y_j)^{は、 互いに独立 である。}

1.2 外生性と直行条件

 _FA1（外生性）の意味：_uiの期待値は、いかなる_Xiの値でもゼロで 一定 。

⊲ ∴ u_i^は、X_iと重複する情報を含んでいない。_⇔Xiから_uiの値は 予測できない 。 誤差_uiはあくまで、無情報のノイズ。

⊲ 外生性のもとで回帰モデル₍₂₎式の条件付き期待値をとれば、 E(Yi|Xi) = (α + βXi+ ui|Xi)

= α + β E(Xi^|Xi⁾

=Xi

+ E(ui^|Xi⁾

=0

= α + βXi ^{. (4)}

∴外生性は、回帰モデルが母回帰関数₍₁₎式と整合的であるために必要。

 _Xiと_uiの直行条件：_Xiが外生変数ならば、

E(u_{i) = 0 ,} E(X_iu_{i) = 0 .} (5)

これを「_Xiと_uiは互いに 直行 する」と言う。

⊲ ∴外生性は、古典的仮定で直接仮定した 「_{E(ui) = 0}」を含む。

⊲ 証明：繰り返し期待値の法則 （講義ノート_#18） および外生性の仮定_FA1より、 E(u_iX_{i) = EXi}[E(u_iX_i|X_{i)] = EXi}[X_iE(u_i|X_i)

=0

]

= EXi^(Xi^·0) = 0. ⁽⁶⁾ E(u_{i) = 0}^{は、復習問題で。}

 _Xiと_uiの無相関：外生性が成立するならば、_Xiと_uiの共分散は

Cov(ui^{, X}i) = 0 . ⁽⁷⁾

両者は無相関。

⊲ ^証明：Xi^{が外生ならばE(u}iXi) = 0^。よって Cov(u_i, X_{i) = E(ui}X_i)

=0

−E(u_i)

=0

E(X_i)

= 0 − 0 · E(Xi) = 0. ⁽⁸⁾

 _Remark：外生性_FA1は、古典的仮定に代わり今後の分析で核となる仮定。派生する性 質をまとめると

外生性_{FA1 E(ui|Xi) = 0}

⇓

(Xi^{, u}i)^{の直交条件} _{E(u) = 0,} E(uiXi) = 0

⇓ (X_i, u_i)^の無相関 Cov(u_i, X_{i) = 0}

⊲ (X_i, u_i)^{の直交条件の役目は？}⇒^回帰係数α, βを推定する際の「手がかり」に使える。

⊲ (X_i, u_i)^{の無相関の役目は ？}⇒得られた推定量の性質を調べる際、 重要。

1.3 互いに独立な標本

 標本の独立性：独立標本の仮定_FA2を数学的に定義すれば、 異なる観測_iと_jに関し Pr(Xi = xi^{, X}j = xj^{, Y}i= yi^{, Y}j = yj)

= Pr(Xi = xi^{, Y}i= yi) Pr(Xi = xi^{, Y}i = yi) = h(xi^{, y}i)h(xj^{, y}j). (9) ここで_{h(·, ·)}は母集団分布。

⊲ ^{例： 無作為抽出} による社会調査 （アンケート）。 無作為に選ばれた_i番目の個人 の回答と、_j番目の個人の回答は独立。

 _Remark：独立標本ならば、ある観測の関数_{s(Xi, Yi)}の値を、_{X1, X2}, . . . , X_n^{で予測できな} いはず。よって

E[s(X_i, Y_i)| X₁, X₂, . . . , X_n

全観測の_Xi

] = E[s(Xi^{, Y}i^)|Xi^{] . (10)}

⊲ ^特にs(Xi^{, Y}i) = ui= Yi− α − βXi^{と置けば、}

E(ui|X1^{, X}2, . . . , X_{n) = E(ui}|Xi) . (11)

⊲ ∴独立標本の仮定と外生性_FA1を合わせれば

E(u_i|X₁, X₂, . . . , X_{n) = E(ui}|X_{i) = 0 .} (12)

2 モーメント法（ MM ）による推定

2.1 母回帰係数の MM 推定

 推定の方針：標本_{(Xi, Yi)}から、どうやって母回帰係数を推定する ？

⊲ OLS^（残差2乗和の最小化、講義ノート_#06） で大丈夫か？

⊲ ... ^{実は、推定のヒントは}(5)^{式に示されている ！}⇒^{モーメント法を使用。}

 母集団モーメント ：誤差項_ui = Y − α − βXi^を(5)^{式に代入すれば}

E(Y_i− α − βXi) = 0, ^E(Yi− α − βXi^)Xi = 0. ⁽¹³⁾ これを 母集団モーメント と呼ぶ。

⊲ ∴外生性のもとでは、二つのパラメータ_α、_βは理論上、 連立方程式の解 でなけ ればならない。

⊲ ^{実際に解くと、}

α = E(Yi^{) − βE(X}i^), β = ^{E(XiYi) − E(Xi)E(Yi)} E(X_i²) − E(X_i)^{2 =}

Cov(X_i, Y_i)

Var(Xi) ^{. (14)} ... どこかで見たような格好。（証明_⇒宿題_#04）

 モーメント法 ：母集団モーメントは母集団上 ・理論上の関係。_⇒実際は、 解くことがで きない。

⊲ 期待値を平均値で代理 ・推定した 標本モーメント 1

n

(Y_i−α − ˆˆ βX_{i) = 0,} ¹ n

(Y_i−α − ˆˆ βX_i)X_{i= 0} (15)

ならば、データから計算可能。

⊲ 標本モーメントを見たす_{( ˆα, ˆβ)}を母集団モーメントの解_{(α, β)}の推定量とする推定法 を、 モーメント法 （method of moments^、 MM ^{）と呼ぶ。}

⊲ 注意：あくまで推定量なので、 一般に_{α  αˆ} 、_{β  β}ˆ 。

 _Remark：_MM推定は、「母集団で成立する関係式は、サンプル数_nが 十分大きければ

標本でも成立するだろう」 という 類推原理 に基づく。

⊲ 実際、大数の法則（講義ノート_#17）より、_{n → ∞}のとき₍₁₅₎式は₍₁₃₎式に近づく。

∴₍₁₅₎式の解は、₍₁₃₎式の解の良い近似となるはず ！

⊲ MM推定は、回帰モデル以外の推定にも使える。

⊲ 例：標本平均は、母平均の_MM推定量と解釈できる。 E(Xi− µ_{) = 0} ⇔ _{µ = E(Xi})

=母集団モーメント、未知母数 µ

MM 推定

−−−−−−−→ ¹ n



(Xi⁻ ˆµ) = 0 ^⇔ ˆµ = ¹ n

 Xi

=標本モーメント、推定量 ˆ^µ

.

(16)

 _MM-OLS推定量：₍₁₅₎式の両辺に_nをかければ



(Yi⁻α − ˆˆ βX_{i) = 0,} ^(Yi⁻α − ˆˆ βX_i)Xi = 0. ⁽¹⁷⁾ ...^{コレは残差}2^{乗和最小化の}1^{階条件（講義ノート}#06^{） と全く同じ。}

⊲ ∴αˆ^、β^{ˆについて解けば}

β =ˆ ^{(Xi− ¯X)(Yi− ¯Y)}

(X_i− ¯X)^{2 =} S_XY

S_XX^{, α = ¯ˆ X − ˆβ ¯Y. (18)} MM^{推定は、結局} OLS^推定 と同じデータの使い方 ！

⊲ 異なる推定原理が出発して、 全く同じ推定量にたどり着くこともある。

2.2 MM-OLS 推定量の性質

 _MM-OLS推定量は「直観的には」 正しそう（類推原理）。

⊲ ^{古典的仮定}CA1∼CA4^{のもとでは、}OLSは一致性、有効性（講義ノート_#08）、一致 性（講義ノート_#17） を持つ素晴らしい推定量。

⊲ ^{現状は古典的仮定が 成立せず 、根源的仮定}FA1^、FA2^{だけが生きている。}

⇒^{根源的仮定のもとで、}OLSは良いパフォーマンスを発揮できるのか ？

 _Remark：母集団のいかんに関わらず、 代数的な性質は成立_⇒OLSを

β = β +ˆ ^wiui^, wi = ^{Xi− ¯X}

S_XX ⁽¹⁹⁾

と書き換えて良い。（_wiは_OLSウェイト、講義ノート_#08）

⊲ s_{Xu= n−1}¹ (X_i− ¯X)(u_i−¯u)と置けば、上式はさらに

β = β +ˆ ¹ SXX

(X_i− ¯X)u_{i= β +}

1

n−1^{(Xi− ¯X)(ui−¯u)} 1

n−1^SXX

= β + ^sXu

s²_x ^{. (20)}

注意：_uiは観測できないので、 標本共分散_sXuは 計算できない 。

 不偏性：_FA1、_FA2が成立すれば、_OLS推定量は_βの 不偏推定量 。

E( ˆβ_{) = β.} (21)

⊲ ∴^{古典的仮定よりかなり 緩い 前提でも、}OLS^{は不偏性を持つ。}

⊲ 証明：全観測の説明変数_{{X1, X2}, . . . , X_n}^{が与えられたもとで、}ˆβ^{の条件付き期待値は} E( ˆβ|X₁, X₂, . . . , X_{n) = β +}^E(wiui|X1^{, X}2, . . . , X_n)

= β +

w_iE(u_i|X₁, X₂, . . . , X_n)

=0

= β +



wi^·0 = β. ⁽²²⁾

（_wiは_{{X1, X2}, . . . , X_n}の関数なので、条件付き期待値の外に出せる。）繰り返し期待 値の法則より

E( ˆβ_{) = E}^E( ˆβ|X₁, X₂, . . . , X_n)^= E(β) = β. ⁽²³⁾

 一致性：_FA1、_FA2が成立すれば、_OLS推定量は_βの 一致推定量 。

plim ˆβ = β. (24)

⊲ ∴^{同様に、かなり 緩い 前提でも、}OLS^{は一致推定量になる。}

⊲ 証明：大数の法則により_{plim sXu= Cov(ui, Xi)}、_{plim s}²

X ^{= Var(Xi)なので、(20)式の}

確率極限は、

plim ˆβ = β + ^{plim sXu} plim s²_X ^{= β +}

Cov(u_i, X_i)

Var(Xi) ^{. (25)}

ここで₍₇₎式より、_FA1が成立すれば_{Cov(ui, Xi) = 0}なので、 plim ˆβ = β + ⁰

Var(Xi) ^{= β. (26)}

 _Remark：とりあえず_FA1、_FA2が成立するデータならば、_OLS推定量は最低限クリア

しなければならない 「品質基準」をパスする。

⊲ ^{不偏性（有限標本）：} E( ˆβ_{) = β} ^。

⊲ ^{一致性（漸近理論）：} plim ˆβ = β ^。

⊲ ∴OLSは、広範囲のデータに適用可能。

⊲ ˆβの分散は？分布型は？仮説検定は？_⇒次回検証。

まとめと復習問題

今回のまとめ

 回帰分析の根源的仮定 ：外生性と標本の独立性。

 _MM-OLS推定と、その不偏性・一致性。

復習問題

出席確認用紙に解答し （用紙裏面を用いても良い）、 退出時に提出せよ。 1. (5)^式のE(u_{i) = 0}^{を証明せよ。}（ヒント：繰り返し期待値の法則。） 2. OLS^{の一致性・別解：直接}(18)^式のβ^{ˆの確率極限をとり、}

plim ˆβ = β ⁽²⁷⁾

を示せ。（ヒント：母集団モーメントの解によると、_{β =}？）