『新しい計量経済学』 鹿野研究室 slide19

計量経済学_#19

回帰分析の再構築 ₍₂₎

鹿野繁樹

大阪府立大学

2017 年 12 月更新

Outline

1 根源的仮定と_{OLS 推定}

2 根源的仮定のもとでの_OLS

テキスト：鹿野繁樹 [2015]、第 10.3 章・第 10.4 章。

前回の復習

1 _{条件付き期待値関数}

2 _母回帰

Section 1

根源的仮定と _OLS 推定

回帰分析の根源的仮定

推定すべきモデルは、次の通り。

仮定 ₁ （線形回帰モデル）

Y_i = α + βXi+ ui^{, i}= 1, 2, . . . , n. (FA0)

古典的回帰モデルとの違い：_Xiは確率変数。

標本_(XiY_i) がいかなる条件を満たせば、OLS 推定量 ˆ

α= ¯Y − ˆβ ¯X, β^ˆ= ^SXY S_XX ⁼

(Xi− ¯X)(Yi− ¯Y)

(Xi− ¯X)^{2 (1)} が母回帰係数α、β の良い推定量となるか？

結論：OLS が α、β の不偏推定量・一致推定量となるための条件 は、回帰分析の根源的仮定（fundamental assumptions、FA）。

仮定 ₂ （根源的仮定）

外生性_{: E(ui|Xi) = 0, (FA1)} 独立な標本_{: 異なる観測 (Xi, Yi) と (Xj, Yj) は互いに独立.}

(FA2)

外生性条件(FA1) により、(FA0) 式が線形回帰となる： E(Yi|Xi) = α + βXi + E(ui|Xi)

=0

= α + βXi^. (2)

(FA1) 式を満たす Xi^{を外生変数と呼ぶ。}

誤差項は_{(Xi, Yi) の一次式 ui = Yi− α − βXi}。_{⇒ 独立標本の} (FA2) は，誤差項 u u

外生性と直交条件

外生性(FA1) 式の含意：誤差項 ui^{の期待値が、いかなるX}i^の値を

受けても常にゼロで一定であることを要求。

∴_uiは_Xiと重複する情報を含んでおらず、_Xi から_uiの値は 予測できない。

誤差である_uiは、あくまで無情報のノイズでなければなら ない。

コレを数学的に示せば、次の公式を得る。

公式 _{1 (X}

と _u

の直交 ₎

説明変数_Xiが外生変数ならば，

E(ui) = 0, E(ui^Xi) = 0. (3)

上式を_Xiと_uiの直交条件と呼ぶ。

確率変数の積の期待値がゼロとなることを一般に、「直交す る」と言う。

証明：_E(uiXi) = 0 について、(FA1) 式が成立すれば、繰り返し期 待値の法則（講義ノート_#18）より

E(ui^Xi) = EXi[E(ui^Xi|Xi)] = EXi[XiE(ui|Xi)

=0

] = EXi(Xi· 0) = 0. (4) E(ui) = 0 は復習問題とする。

また、共分散の別表現_{Cov(ui, Xi) = E(uiXi) − E(ui)E(Xi) と直交} 条件から、

Cov(ui^{, X}i) = E(ui^Xi)

=0

− E(ui)

=0

E(Xi) = 0 − 0 · E(Xi) = 0. (5)

∴_Xiと_uiは無相関。

公式 _{2 (X}

と _u

の無相関 ₎

説明変数_Xiが外生変数ならば、

Cov(ui^{, X}i) = 0. (6) 証明：前段で証明済み。

外生性条件(FA1) は結局、Xi^とuiが無相関であることを要求 していることになる。

ここまで得られた結果をまとめると…

Remark 1

外生性の仮定_{(FA1) の含意。} 線形回帰モデルの整合性。

Y_i = α + βXi+ ui

E(ui|Xi) = 0 ^{⇒ E(Yi|Xi) = α + βXi.} (7)

説明変数と誤差項の直交および無相関。 E(ui|Xi) = 0 ⇒

E(ui) = 0

E(ui^Xi) = 0 ^{⇒ Cov(Xi, ui) = 0.} (8)

互いに独立な標本

独立標本の仮定_{(FA2) の意味。}

いま、ある観測_{(Xi, Yi) の関数 si = s(Xi, Yi) を定義し、si}を 説明変数の全観測_X1, X2, . . . , X_n^{で予測する。}

独立標本_{⇒ Xi}以外は、_siに関し無情報。∴_Xiだけを見たと きの_siの条件付き期待値と、_X1, X2, . . . , X_n^{を見渡したとき} のそれは合致するはず。

E [s(Xi^{, Y}i)|Xi] = E[s(Xi^{, Y}i)| X¹, X2, . . . , X_n

全観測

]. (9)

特に関数を_{ui = s(Xi, Yi) = Yi− α − βXi}と置けば、

E (ui|Xi) = E(ui|X¹, X2, . . . , X_n). (10)

さらに仮定(FA1) と (10) 式を合わせると、新たな条件式・^強い外 生性（strong exogeneity）を得る。

公式 _{3 (} 強い外生性 ₎

(FA1) 式と (FA2) 式が成立するならば、

E(ui|X¹, X2, . . . , X_n) = 0, i= 1, 2, . . . , n. (11) 証明：(FA2) 式より (10) 式が成立。(FA1) 式を (10) 式に代入す れば、

E (ui|Xi) = E(ui|X1, X2, . . . , X_n) = 0. (12)

Section 2

根源的仮定のもとでの _OLS

OLS 推定量の不偏性と一致性

根源的仮定が成立するデータでOLS を使ったときの性能は？ 準備：OLS 推定量は、OLS ウェイトを使えば

βˆ= β +^w_iu_i, w_i = ^{(Xi− ¯X)}

(Xi− ¯X)^{2. (13)} 注意：_{X1, X2}, . . . , X_n^{は確率変数。}_{⇒ wi}^はn 個の確率変数 X1, X2, . . . , X_n^{に依存する確率変数！}

X1, X2, . . . , X_nが与えられたもとで、上式β の条件付き期待値は、^ˆ 公式_{(11) より}

E( ˆβ|X¹, X2, . . . , X_n) = β +^E(wi^ui|X¹, X2, . . . , X_n)

= β +^w_iE(ui|X¹, X2, . . . , X_n)

=0

= β. (14)

さらに繰り返し期待値の法則により

E( ˆβ) = E^E( ˆβ|X¹, X2, . . . , X_n)^= E(β) = β. (15)

∴ 根源的仮定(FA1) と (FA2) の成立するデータに適用すれば、 OLS 推定量 ˆβ は母回帰係数 β の不偏推定量。

公式 _{4 (OLS} 推定量の不偏性 ₎

根源的仮定(FA1) と (FA2) のもとで，

E(ˆα) = α, E( ˆβ) = β. (16) 証明： ˆβ に関しては前段で証明済み。α に関しては復習問題とすˆ る。

OLS の一致性は？⇒(13) 式を次のように書き換え。 βˆ= β + ^{(Xi− ¯X)(ui− ¯u)}

(Xi− ¯X)^{2 = β +}

1

n−1^{(Xi− ¯X)(ui− ¯u)} 1

n−1^{(Xi− ¯X)} 2

= β + ^sXu

s²_X ⁽¹⁷⁾

サンプル数n が多い場合のモーメントの収束（講義ノート

#17）により

plim sXu = Cov(Xi^{, u}i), plim s²_X = Var(Xi). (18)

∴(17) 式の確率極限をとれば

plim ˆβ = β + ^{plim sXu}

plim s²_X ^{= β +}

=0

Cov(Xi^{, u}i)

Var(Xi) ^{= β (19)}

公式 _{5 (OLS} 推定量の一致性 ₎

根源的仮定(FA1) と (FA2) のもとで、

plim ˆα= α, plim ˆβ = β. (20) 証明： ˆβ に関しては前段で証明済み。α に関しては復習問題とすˆ る。

根源的仮定(FA1) 式と (FA2) 式を満たすデータならば、OLS 推定 量は小標本でも、漸近的（_n→ ∞）にも最低限の性能を発揮。

Remark 2

標本の前提条件が古典的仮定から根源仮定に移行しても、_{OLS の} 不偏性・一致性は保たれる。

不偏性（小標本）：_{E( ˆβ) = β．} 一致性（漸近理論）：_{plim ˆβ = β．}

これまで通り、OLS を軸とした回帰分析を行う。

今後の課題：根源的仮定のもとでの、OLS の分散と、OLS が 従う確率分布の導出。

モーメント法からのアプローチ

母回帰係数α、β を、OLS 以外の推定原理・モーメント法で推定： いま_{ui = Yi− α − βXi}と置いて公式_{4に代入すれば}

E(Yi− α − βXi) = 0, E [(Yi− α − βXi)Xi] = 0. (21) 上式は回帰モデルの母集団モーメント条件と呼ばれる。

∴ 外生性の条件が正しいならば、未知のα、β は、連立方程式 (21) の解。

実際に解いてみると、どこかで見たことのある表現を得る。

公式 _{6 (} 母回帰係数 ₎

外生性の条件を満たすとき，母回帰係数は

α= E(Yi) − βE(Xi), β = ^{Cov(Xi, Yi)}

Var(Xi) ^{. (22)} 証明：復習問題とする。

母集団モーメント(21) は母集団上・理論上の関係、実際には得ら れない。⇒ 期待値を平均値で推定した^{標本モーメント条件}

1 n

(Yi− ˆα− ˆβX_i) = 0, ¹ n

(Yi− ˆα− ˆβX_i)Xi = 0 (23)

を代わりに考える。

標本モーメントを満たす_{α、 ˆˆ} β を母回帰係数 α、β の推定量と する推定法を、モーメント法（method of moments、MM）と 呼ぶ。

MM 推定は，「母集団で成立する関係式は、サンプル数_{n が十分大} きければ標本においても成立するだろう」というアイディア、類 推原理（analogy principle）に基づく推定法。

大数の法則あるいはモーメントの収束により、_{n → ∞ のとき} (23) 式は (21) 式に確率収束。

∴_{(23) 式の解 ˆα、 ˆ}β は、(21) 式の解 α、β の良い近似となって いるはず。

(23) 式両辺に n をかければ

(Yi− ˆ^α− ˆ^βXi) = 0, ^(Yi− ˆ^α− ˆ^βXi)Xi = 0. (24) ... 残差 2 乗和最小化の一階条件そのもの！

上式を_{α、 ˆˆ} β について解けば、OLS 推定量 ˆ

α _{= ¯}X_{− ˆ}β ¯Y , β^ˆ₌ ^{(Xi− ¯X)(Yi− ¯Y)}

(Xi− ¯X)^{2 (25)} を得る。

回帰モデルの係数をMM 推定しようとすると、結局 OLS と同 じ公式に帰着。

今回の復習問題

次の設問に答えよ。各自用意した紙に解答し、退出時に提出せよ。 講義名、日付、学籍番号、氏名を明記すること。

1 _{テキスト第}10 章復習問 10.3。

References

鹿野繁樹. 新しい計量経済学. 日本評論社, 2015.