古典的回帰モデルとOLS推定 計量経済学 鹿野研究室 note08

担当：鹿野（大阪府立大学） 2013 年度後期

はじめに

前回の復習

 _OLS予測と_OLS残差。

 決定係数_R²。

今回学ぶこと

 回帰モデルと回帰分析の古典的仮定。

 _OLS推定量の確率的性質 ：不偏性とガウス・マルコフの定理。

 テキスト該当箇所 ：_3.1∼3.3章。講義ノート_#04が非常に役立つので、 参照のこと。

1 _{古典的仮定}

1.1 線形回帰モデル

 回帰直線_Yˆ_{i = a + bXi}を_OLS推定_→OLS残差（予測誤差）_ˆuiが発生。

Yi= ˆ^Yi+ ˆ^ui = a^∗+ b^∗Xi+ ˆ^ui (1)

⊲ 通常、回帰直線で被説明変数_Yiの変動・個体差を全て捉えるのはムリ。

 線形回帰モデル：あらかじめ誤差の存在を認め、_Xiと_Yiの関係を

Y_{i = α + βXi+ ui}, i = 1, 2, . . . , n ⁽²⁾

と定式化。これを と呼ぶ。

⊲ ^切片α^、傾きβ^{を と呼ぶ。未知の母数。}

⊲ ui^はYi^の直線α + βXiからの確率的なズレで、 と呼ぶ。（注意：_OLS残差

ˆuiではないので、 区別。）

⊲ ∴回帰モデルは、 データとして観測された_Yiの個体差を

Y_i^の個体差_{= Xi}^{の違いに起因する部分}₊^{確率的な誤差}u_i (3) と表現。

1

Y_{i =} µ



共通の典型値

+ ^ui



誤差

, i = 1, 2, . . . , n. ⁽⁴⁾

⊲ ^一方(2)^式は

Y_{i = α + βXi}



Xi^{に依存・個体差}

+ ^ui



誤差

, i = 1, 2, . . . , n. ⁽⁵⁾

∴回帰モデルは、_Xiに応じて_Yiの母平均が変化するモデル。（どう変化するかは係 数_βの符号次第。）誤差モデルの一般化。

1.2 回帰分析の古典的仮定

 古典的仮定 ：以下、回帰モデル₍₂₎式の説明変数_Xiと誤差項_uiに、次の仮定を置く。 こ れらをまとめて回帰分析の （classical assumption^{） と呼ぶ。}_CA2∼CA4^は 講義ノート_#04で、_CA5は講義ノート_#05で置いた仮定と全く同じ。

⊲ CA1^{：説明変数}Xiは、非確率変数。普通の数字として扱う。（今回初登場！）

⊲ CA2^：E(u_{i) = 0}^。

⊲ CA3^：Var(ui) = E(u²_i) = σ^{2、σ2は未知の母分散。}

⊲ CA4^：u1^,u2^{, . . . ,}un^は独立→ Cov(ui^,uj) = E(uiuj) = 0^{。（独立標本}→^{無相関。）}

⊲ CA5^：u_{i ∼ N(0, σ}²)^{。（正規母集団。）}

 _Remark：_CA1（_Xiが非確率的）の由来・意味・効能

⊲ CA1^{は、回帰分析が} の解析から生まれた歴史的背景に由来。

⊲ ^{分析者があらかじめ}q^通りのX_i^の値x₍₁₎,x₍₂₎, . . . ,x_(q)を観測個体（被験者）に与え、

「介入による効果＋確率誤差」 で_Yiの個体差が生じた、 という状況を想定。

⊲ (Xi^,Yi)が同時にサンプリングされる （講義ノート_#01）では、_CA1 は不自然・不満足な仮定。_⇒しかし、_OLS推定量の確率的性質が圧倒的に簡単に。

 古典的回帰モデル ：仮定_CA1∼CA4の下で、₍₂₎式の期待値・分散は

E(Yi) = E(α + βXi+ ui) = α + βXi+ E(ui) = α + βXi^, (6) Var(Yi) = E^(Yi− E(Yi))^2_{= E}^_{(α + βX}i+ ui− α − βXi)^2_{= E(u}²_{i) = σ}². (7)

∴_Yiの期待値は_Xiに依存、しかし分散は_σ²で一定。

⊲ ^さらにCA5^よりY_{i = α + βXi+ ui}^{の分布は、}u_{i ∼ N(0, σ}²)^を_{α + βXi}^{だけズラすと}

Y_{i∼ N(α + βXi}, σ²). (8)

∴ _Xiに依存して母平均（重心）がシフトする正規分布。_CA5が無いと_Yiの分布型が 決まらない。図₁参照（_{β >0}のケース）。

⊲ _CA1∼CA5の下での回帰モデルを、 と呼ぶ。

0.0 0.2 0.4 0.6 0.8 1.0

01234

Xi

Yi

α + βXi

u_i~N(0,σ²)

図_1:古典的回帰モデルの例_{Yi= α + βXi+ ui}、_{ui ∼ N(0, σ}²₎

2 OLS _{推定量の確率的性質}

2.1 回帰係数α, β の OLS 推定

 未知の回帰係数_{α, β}を、試しに_OLS推定量_b^∗₌ ^SXY

SXX

、_a^∗_{= ¯Y − ˆβ ¯X}で推定してみる。 β =^？, α =^{？, OLS 推定 a}

∗_,b∗

−−−−−−−−−−−−→ β =^{ˆ SXY}

S_XX^{, α = ¯ˆ Y − ˆβ ¯X. (9)}

⊲ 古典的回帰モデルでは、 標本_{Yi(= α + βXi+ ui)}は確率変数。_→標本平均_Y¯、偏差積 和_SXYに依存する_{α, ˆˆ β}もまた、確率変数。

⊲ α, ˆˆ βはどんな確率的性質 （期待値や分散） を持つ？_{α, β}の推定にふさわしい ？

 偏差積和_SXYの別表現「その₂」：_{(Xi− ¯X) = 0}（講義ノート_#06）に注意して偏差積和の 定義を変形すると

S_XY= (X_{i− ¯}X)(Y_{i− ¯}Y_{) =} ^(X_{i− ¯}X)Y_{i− (Xi− ¯}X) ¯Y^

=

(X_{i− ¯}X)Y_{i− ¯}Y (X_{i− ¯}X)



=0

= ^{. (10)}

⊲ ^{同様に、偏差}2乗和も次の表現が可能。 SXX=

(Xi− ¯^X)Xi^, SYY =

(Yi− ¯^Y)Yi^. (11)

⊲ ^{別表現「その}1^」は？_→^{講義ノート}#06^参照。

 _OLSウェイトと_βˆの線形性：_SXYの別表現を使って_OLS推定量_βˆを変形すると ˆβ = ¹

S_XX

(X_{i− ¯}X)Y_{i =} ^{Xi− ¯X} S_XX

Y_{i =} w_iY_i, w_i= ^{Xi− ¯X}

S_XX ^{. (12)}

ここで_wiを と呼ぶ。

データの加重和（₁次式）で得られる推定量を一般に、 線形推定量と呼ぶ。

 _OLSウェイト_wiの性質：次式が成立。

1. ^{。講義ノート}#06^より(X_{i− ¯}X_{) = 0}^なので、 w_i= ^{Xi− ¯X}

S_XX ⁼ 1 S_XX

(X_{i− ¯}X)



=0

= 0. ⁽¹⁴⁾

2. ^。(10)^{式を使えば} wiXi=

_{(Xi− ¯X)Xi} SXX ⁼

1 SXX

(Xi− ¯X)Xi



=SXX

= 1. (15)

3. ^。偏差2^{乗和の定義}S_XX=(X_{i− ¯}X)^2より

w²_i =

_{(Xi− ¯X)}² S²_XX ⁼

1 S²_XX

(Xi− ¯X)²



=SXX

= ¹ SXX

. (16)

2.2 OLS推定量の期待値と分散

 _OLS推定量_βˆと回帰係数_βの関係：₍₁₂₎式の_Yiに回帰モデル₍₂₎式を代入すると β =ˆ ^wi^Yi=

w_{i(α + βXi+ ui) = α} w_i



=0

+β

w_iX_i



=1

+

w_iu_{i =} . (17)

∴ _ˆβは、_βの周りを推定誤差_{ wiui}（_uiの加重和）の分だけバラつく確率変数。

⊲ (17)^{式は、講義ノート}#04で標本平均と母平均の関係を Y = µ +¯ ¹

n

u_i (18)

と書けたのと似ている ！

⊲ 多くの確率モデルでは、 標本からデザインした推定量 _ˆθとターゲットである未知の 母数_θの関係を（正確に_or近似的に）

推定量_{ˆθ =}未知母数_{θ +}確率的な推定誤差 ₍₁₉₎ と表現できる。_ˆθの確率的性質を調べるのに、 とても便利。

 _OLS推定量_βˆの期待値：_ˆβの期待値は

E( ˆβ_{) = β.} (20)

∴ _ˆβは_βの不偏推定量（講義ノート_#04）。

⊲ ^証明：CA1^よりXi^（wi^{）は非確率、}CA2^よりE(ui) = 0^{。よって(17)式の期待値は} E( ˆβ_{) = Eβ +} wiui

= β + E

 wiui

= β +

wiE(ui) = β. ⁽²¹⁾

 _OLS推定量_βˆの分散：_βˆの分散は、

Var( ˆβ_{) =} ^σ

2

S_XX^{. (22)}

⊲ ^証明：(20)^式よりE( ˆβ_{) = β}^なので、(17)^式よりβ − E( ˆβ) = ˆβ − β =^{ˆ  w}i^ui^。よって

Var( ˆβ_{) = E}^( ˆβ − E( ˆβ))^2= E^{ w}i^ui

2^

= E^(w1u1+ · · · + wnun)^2

= E [(w1u1+ · · · + wnun)(w1u1+ · · · + wnun)]

= E[w²₁u²₁+ · · · + w²_nu²_n



n 個の2 乗項 w²_iu²_i

+ w1w2u1u2+ · · · + wn−1^wnu_n−1un



n(n − 1) 個の交差項 wiwjuiuj

].

(23) CA3^よりE(u²_{i) = σ}^2、CA4^よりE(u_iu_{j) = 0}^なので

Var( ˆβ_{) = (w}²₁σ²+ · · · + w²n^σ2) + (0 + · · · + 0) = σ^{2 w2}_i^{. (24)} OLS^{ウェイトの性質}3^を使うと

Var( ˆβ_{) = σ}² w²_{i = σ}^{2 1}

S_XX^{. (25)}

 _Remark：_OLS推定量_βˆの期待値と分散をまとめると

E( ˆβ_{) =} , Var( ˆβ_{) =} . (26)

⊲ ˆβ^はβ^{の 。}ˆβ^{は確率変数だが、}β^{（＝「当たり」）ぐらいが出やすい。}

⊲ Xi^{の標本分散}s²_X = _n−1¹ SXX = _n−1^{1 (X}i− ¯^{X)2に注意すれば、分散は} Var( ˆβ_{) =} ^σ

2

(n − 1)s²_X^{. (27)}

∴ が大きいほど、 が多いほど、_ˆβの精度が上昇。

 _αの_OLS推定量_{α = ¯ˆ Y − ˆβ ¯X}の性質は？_⇒宿題_#02にとっておく。 2.3 ガウス・マルコフの定理

 一般的な線形不偏推定量 ：適当な定数_{c1,c2, . . . ,cn}で、適当な線形推定量を定義。

˜β = ^ci^Yi^{. (28)}

ciをどう与えれば、 古典的仮定のもとで不偏推定量が造れる ？

= α

c_{i+ β} c_iX_i. (29)

⊲ ∴ ˜β^がβの不偏推定量になるための条件は

, _⇒ E( ˜β_{) = α} c_{i+ β} c_iX_{i= β.} (30) OLS^{ウェイトの性質}1^、性質2^より、w_i^{は上の条件を満たす。}

 _Remark：₍₃₀₎式の条件を満たすように_ciを取れば、_βの線形不偏推定量は無限に造れる。

⊲ ∴OLS推定量に、不偏性を持つ「ライバル」が無数に存在！

⊲ ^{有効性（講義ノート}#04^{）で勝負：一方}β^{˜の分散は、}(24)^式のVar( ˆβ)^{と同じ導出法で}

Var( ˜β_{) = σ}² c²_i. (31)

OLS^の分散Var( ˆβ_{) = σ}² w²_i ^{は、どんな}Var( ˜β_{) = σ}² c²_i ^{よりも小さいか？}

 ガウス・マルコフの定理：古典的仮定の_CA1∼CA4が成立するとき、_OLS推定量_{α, ˆˆ β}は_{α, β} に対し最小分散の線形不偏推定量である。 これを と呼ぶ。

⊲ ^このときα, ˆˆ βは最良線形不偏推定量（best linear unbiased estimator^{、 ）で} ある、と言う。

⊲ ∴OLS推定量は、最も精度の高い不偏推定量。_→CA1∼CA4が成立する限り、_OLS 推定を使うのがベスト。

⊲ ^最小2乗原理（予測誤差＝残差₂乗和の最小化） が、結果的に最高の性能を持つ推 定量を導き出す。 統計学・計量経済学で特に重要な大定理。

⊲ ^証明_⇒今回の補足資料。 テキスト_p60∼61も参照。

 注意：ガウス・マルコフの定理で、_CA5（誤差項の正規性）は不要。_βの期待値・分散の 導出でも不要。

⊲ ∴^{定理に関与する}_CA1∼CA4^{だけを取り出して、 と呼ぶ。}

⊲ CA5^{は何のために？}_{→ β}の仮説検定（次回）のために。

まとめと復習問題

今回のまとめ

 古典的仮定の下での回帰モデル。

 _OLS推定量の確率的性質 ：不偏性とガウス・マルコフの定理。

復習問題

出席確認用紙に解答し （用紙裏面を用いても良い）、 退出時に提出せよ。

1. ^{古典的仮定}_CA1∼CA4^{の下では、回帰係数}β^{の線形不偏推定量は（}OLS^推定量β^{ˆを含め）} 無数に存在する。しかし実際の回帰分析では、その中でも_βˆを使う。その根拠を、簡単に 説明せよ。