『新しい計量経済学』 鹿野研究室 slide08

計量経済学_#08

古典的回帰モデル ₍₁₎

鹿野繁樹

大阪府立大学

2017 年 10 月更新

Outline

1 回帰分析の古典的仮定

2 回帰係数の_{OLS 推定}

テキスト：鹿野繁樹 [2015]、第 5.1 章・第 5.2 章。

前回の復習

1 OLS 回帰と OLS 残差

2 _決定係数

Section 1

回帰分析の古典的仮定

線形回帰モデル：回帰直線と確率誤差の出会い

前回までの復習：二次元データ_{(Xi, Yi}) の関係を、OLS 回帰 Yˆ_i = a^∗+ b^∗X_i. (1)

で分析。

回帰直線の散布図へのフィット（残差2 乗和 = 予測誤差の最 小化）で_{OLS 係数 a}^∗_{, b}^∗を決定。

a^∗ = ¯Y − b^∗X,^¯ b^∗ = ^SXY S_XX ⁼

(Xi− ¯X)(Yi − ¯Y)

(Xi− ¯^X)^{2 . (2)} ... いくら努力しても、OLS 残差 ˆu_i = Y_i− ˆY_i^が残る。⇒ 説明 変数_Xiだけで被説明変数_Yiの変動を説明するのは、ムリ！

あらかじめ誤差を認め、_Yiは線形回帰モデルに従って変動すると 仮定。

仮定 _{1 (} 線形回帰モデル ₎

Y_i = α + βXi+ ui^{, i}= 1, 2, . . . , n. (CA0) u_i^{は誤差項。説明変数}X_i^{で説明できない}Y_i^{のバラつきをと} らえた確率変数。（誤差項_{ui =OLS 残差 ˆui}。）

∴Y_iの変動・個体差の要因：

データとして観測できる_Xiの違い。 観測不能な確率的ノイズ_ui。

改めて、切片α（アルファ）、傾き β（ベータ）を^{回帰係数と} 呼ぶ。

統計的推測（講義ノート#04・#05）の立場で考えると？

母集団モデル= 回帰モデル (CA0)：標本 (Xi^{, Y}i) の観測プロセ スを表現。

未知の母数= 回帰係数 α と β：推定・検定の対象。

(CA0) 式に従って変動する標本 (Xi^{, Y}i) を収集・分析 ⇒ さか のぼって_α, β の値を推測することができるはず！

Remark 1

回帰係数α, β の統計的推測。

Y_i = α + βXi+ ui 母集団（母数_{α, β）}

↓ ↑

標本を観測_↓ ↑ α, β の推定・仮説検定

↓ ↑

(X1, Y1), (X2, Y2), . . . , (X_n, Y_n)

標本

古典的回帰モデル

以降、古典的仮定（classical assumption，CA）を満たす標本を 想定。

仮定 _{2 (} 回帰分析の古典的仮定 ₎

非確率的な説明変数： _X1, X2, . . . , X_n^はn 個の定数, (CA1) 期待値はゼロ： _{E(ui) = 0, (CA2)} 母分散の均一性： _{Var(ui) = E(u}

2 i^{) = σ}

2, _(CA3) 独立標本⇒ 無相関： Cov(ui^{, u}j) = E(ui^uj) = 0, (CA4)

正規性_{: ui ∼ N(0, σ}

2). (CA5)

これらの仮定を満たすとき、_{(CA0) 式は}古典的回帰モデルと 呼ばれる。

仮定(CA2) から仮定 (CA5) は誤差項 uiに関する仮定。標本の誤差 モデル（講義ノート_{#04）とほぼ同様。}

仮定(CA2) と (CA5)：uiは、ゼロの周りに分布する確率的ノ イズ。

仮定(CA3) と仮定 (CA5) の σ^2は、ui^{の母分散。}

注意：仮定_(CA2)より_{E(ui) = 0}なので，_uiの分散は

σ² = Var(u_i) = E(u_i− E(u_i))² = E(u²_i). (3)

∴単に_u

2

i ^{の期待値。}

仮定(CA4)：同様の理由で、仮定 (CA2) の誤差項の共分散は Cov(ui^{, u}j) = E(ui^uj) = 0。

仮定(CA1) について：なぜ Xi^{を非確率変数とする？}⇒ 回帰分析 が、実験データ（講義ノート#01）の解析で発展したことに由来。

実験で、分析者が_{n 通りの Xi}の値_{{x1, x2}, . . . , x_{n}（例えば薬} 品投与量）を被験者i に与え、それを受けて Y_i^{（例えば血圧）} の個体差が生じた状況を想定。

∴_Yiを観測する前から_Xiの値は確定。_{⇒ Xi}は非確率変数！ ... 経済学で使う非実験データには、合わない仮定。あくまで 分析の簡単化のための仮定。

古典的仮定のもとで、_Yiの振る舞いは？

期待値：(CA0) 式の期待値は、仮定 (CA1) と仮定 (CA2) より E(Yi) = Eα + βXi+ ui = α + βXi+ E(ui)

=0

= α + βXi^.

（仮定_{(CA1) より Xi}は定数なので、_{E(Xi) = Xi}。）

分散：_{Yi− E(Yi) = α + βXi+ ui− (α + βXi) = ui}なので、仮 定_{(CA3) より}

Var(Yi) = E(Yi− E(Yi))² = E(u²_i)

=_σ2

= σ².

X_i^{に依存せず、母分散}σ^{2で一定。} 分布型：仮定_{(CA5) の ui ∼ N(0, σ}

2) の中心を定数（母平均） E(Yi) = α + βXi^{だけシフト}⇒ 正規分布に関する公式（講義 ノート_#03）より

Y_i ∼ N(α + βXi^{, σ} 2).

古典的回帰モデルは結局、「_Xiに依存して期待値がシフトする_Yi の正規母集団」！

公式 ₁

古典的回帰モデルは、次式の構造を持つ正規母集団である。 Y_i ∼ N(α + βX_i, σ²), E(Y_i) = α + βX_i

期待値（_Xiに依存）

, Var(Y_i) = σ²

母分散（一定）

. (4)

証明：前段で証明済み。

図1：β > 0 の古典的回帰モデルを、(Xi^{, Y}i) 平面上に描いた イメージ。

X_i^{の値で期待値}E(Yi) の位置が決まり、次いで誤差 ui^が加わ

ることで_{E(Yi) を中心に Yi}の正規分布が形成。

同じ_Xiの値を持つ個体でも、_uiの違いで_Yiの観測に差異が 生じる。

0.0 0.2 0.4 0.6 0.8 1.0

01234

Xi

Yi

α + βXi

ui~N(0,σ²)

図_{1 :} 古典的回帰モデル_{Yi = α + βXi+ ui}，_{ui∼ N(0, σ}

2)

発想の転換

OLS 回帰：まず散布図に n 個の観測点 (Xi^{, Y}i) があり、そこに 回帰直線_Yˆ_{i = a + bXi}をフィットさせる。

古典的回帰モデル：まずモデル(CA0) があり、モデルから n 組の_{(Xi, Yi}) が発生する。⇒ いかにして (X_i, Y_i) から α と β をリカバーするか？∴ 回帰係数の推定。

Remark 2

OLS 回帰（前回まで）と古典的回帰モデル（今回から）の違い。 OLS 回帰：はじめにデータありき。所与の散布図 (Xi^{, Y}i) に、 回帰式_Yˆ_{i = a + bXi}を当てはめ。∴ 記述統計の一種。

古典的回帰モデル：はじめにモデルありき。モデル_{(CA0) か} ら_{(Xi, Yi) が発生。⇒ (Xi, Yi}) から α と β を推定するには？

Section 2

回帰係数の _OLS 推定

OLS ^推定量

回帰係数α, β の推定量として、何がふさわしいか？⇒OLS 係数 a^∗, b^∗を「とりあえず」採用してみる。

ˆ

α= ¯Y − ˆβ ¯X, β^ˆ= ^SXY

S_XX^{. (5)} このとき_{α, ˆˆ} β（OLS）を、α, β のOLS 推定量^と呼ぶ。

根拠：回帰直線と線形回帰モデルは見た目が良く似ている！

⇒OLS 係数を使うとうまく行きそう？

... OLS は、望ましい推定量の採用基準（不偏性と有効性、講 義ノート#05）を満たすか？⇒ コレを調べるには、いくつか の準備が必要。

公式 _{2 (} 偏差 ₂ 乗和・偏差積和の別表現：その ₂₎

S_XX =^(Xi− ¯X)Xi^{, S}XY =^(Xi− ¯X)Yi^. (6) 証明：講義ノート_{#07 より(Xi− ¯}X) = 0 なので、

S_XY =^(X_i− ¯X)(Y_i− ¯Y)

= (Xi− ¯X)Yi− (Xi− ¯X) ¯Y^

=^(Xi− ¯X)Yi− ¯Y ^(Xi − ¯X)

=0

=^(Xi− ¯X)Yi^.

S_XX^{に関しては復習問題。}

(5) 式の ˆβ の分子 S_XY ^に(6) 式を代入し変形すると、 βˆ= ¹

S_XX

(X_i− ¯X)Y_i =^{ Xi− ¯X} S_XX

Y_i

=^w_iY_i, w_i = ^{Xi− ¯X}

S_XX ^{. (7)} 上式の_{w1, w2}, . . . , w_n^を_{OLS ウェイト}^と呼ぶ。

公式 _{3 (OLS} 推定量の線形性 ₎

β は、ˆ _{OLS ウェイト wi}^によるY_i^{の加重和。}

βˆ=^w_iY_i = w¹Y1_{+ w}2Y2+ · · · + wn^Yn^{, w}i = ^{Xi− ¯X} S_XX ^{. (8)} 証明：前段で証明済み．

∴ ˆ_{β は、wi}をウェイトとする_Yiの一次式。一般に線形推定 量と呼ばれる。

標本平均も Y¯ = ¹

n

Y_i = ¹ n^Y1+

1

n^{Y2+ · · · +} 1 n^Yn と書けば、均等なウェイト

1

nの線形推定量と解釈できる。

OLS ウェイト wi^{の三つの性質}⇒ 今後頻繁に利用。

公式 _{4 (OLS} ウェイトの性質 ₎

和はゼロ_:

w_i = 0, (9) X_i^{との積和は}1 : ^w_iX_i = 1, (10) 2 乗和は SXX^の逆数: ^w2_i = ¹

S_XX^{. (11)}

証明：前回の_{(Xi− ¯X) = 0、SXX =(Xi− ¯X)}

2

（定義式）、お よび公式_{(6) を使えば}

w_i =^{Xi− ¯X} S_XX ⁼

1 S_XX

(Xi− ¯X)

=0

= 0.

w_iX_i =^{(Xi− ¯X)} S_XX ^{Xi =}

1 S_XX

(Xi− ¯X)Xi

=_SX X

= 1.

w²_{i =}^{(Xi− ¯X)}

2

S_XX^{2 =} 1 S_XX²

(Xi− ¯^X)²

=_{SX X}

= ¹ S_XX^.

OLS ^{推定量の期待値と分散}

公式_{(8) の Yi}に回帰モデル(CA0) を代入し、展開・整理すると βˆ=^w_iY_i =^w_i(α + βXi + ui)

= α^wi

=0

+β^wi^Xi

=1

+^wi^ui

= β +^wi^ui^. (12) ただし公式(9) と公式 (10) を利用。

∴_{OLS 推定量 ˆ}β は、真の β の周りを誤差の加重和 w_iu_i^だけ バラつく確率変数。一般に_β^ˆ_{= β。}

標本平均の誤差表現（講義ノート#04）と本質的に同じ！

Remark 3

推定量の誤差表現：多くの推定問題において、未知の母数_{θ とそ} の推定量 ˆθ は正確に、または近似的に

θˆ= θ + 推定の誤差.

∴ ˆθ の性質を調べる際に便利。

例：標本_Xiによる_{µ の推定で、 ¯X = µ +}

 1 n^ui。

例：二次元標本_{(Xi, Yi}) による β の OLS 推定で、 βˆ= β + w_iu_i^。

(12) 式の推定誤差 w_iu_i^{の期待値：仮定}(CA1) より wi^{は非確率、}

仮定(CA2) より E(u_i) = 0 なので E^w_iu_i= w¹E(u¹)

=0

+w²E(u²) + · · · + wnE(un) = 0. (13)

 w_iu_i^{の分散：仮定}(CA4)（独立標本）および仮定 (CA3) により、 Var^w_iu_i= Var (w¹u1_{+ w}2u2+ · · · + wn^un)

= Var(w¹u1_{) + Var(w}2u2) + · · · + Var(wn^un)

= w1²Var(u¹)

=_σ2

+w2²Var(u²) + · · · + w_n²Var(un)

= w1²σ² + w²2σ²+ · · · + w²_nσ² = σ^2w²_i. (14)

（講義ノート#02：定数を分散記号の外に出すときは、2 乗で。） さらに公式_{(11) を使えば}

Var^w_iu_i= σ^2w_i² = ^σ

2

S_XX^{. (15)}

よって(12) 式から、 ˆβ の期待値・分散は E( ˆβ) = Eβ+^w_iu_i= E(β)

β

+ E^w_iu_i

=0

= β, (16)

Var( ˆ^β) = Var^β+^wi^ui

= Var(β)

=0

+ Var^wi^ui

=_σ2_{/SX X}

= ^σ

2

S_XX^. (17)

公式 _{5 (OLS} 推定量 _β ˆ の期待値・分散 ₎

古典的仮定(CA1) ∼ (CA4) を満たす標本ならば、 E( ˆβ) = β, Var( ˆβ) = ^σ

2

S_XX ⁼

σ²

(Xi− ¯X)^{2. (18)} 証明：前段で証明済み。

E( ˆβ) = β より、OLS ˆβ は回帰係数 β の不偏推定量。

(n − 1)s²_X = SXX =(Xi− ¯^X)^{2を利用して分散}Var( ˆ^β) の分 母を変形すると

Var( ˆβ) = ^σ

2

(n − 1)s²_X^{. (19)}

∴ サンプル数n が大きいほど_{Var( ˆ}β) が減少 =OLS 推定の精度 が向上！

α のOLS ˆα も、同様の性質を持つ。テキストp81 参照。

ガウス・マルコフの定理： _OLS の有効性

回帰係数の不偏推定量は、実はOLS 以外にも存在。

不偏性の基準_{E( ˜}β) = β を満たす推定量 ˜β を設計する方法は、 無限にある。（詳細はテキストp81∼p82 参照。）

不偏性の意味で同性能の推定量が複数ある場合、第二の基準・ 有効性（最小分散、講義ノート_{#05）を問う。}

OLS ˆβ は、最小分散の不偏推定量か？

答え：OLS よりも分散（ブレ）の小さい不偏推定量を作ることは、 不可能！

公式 _{6 (} ガウス・マルコフの定理 ₎

古典的仮定(CA1) ∼ (CA4) が成立するならば、OLS 推定量 ˆβ の分 散は、β の線形不偏推定量の中で最小となる。

E( ˆβ) = β, Var( ˆβ) = σ^2w_i² = ^σ

2

S_XX ^{<Var( ˜β). (20)} ただしβ は任意の線形不偏推定量。˜

証明：テキスト_{p93 参照。}

OLS が統計ソフトに実装されている理由：^{有効性（最小分散）。}

Remark 4

OLS 推定量が採用される理由 = ガウス・マルコフの定理。 OLS 推定量 ˆ^α, ˆ^{β は、回帰係数 α}, β の最小分散の線形不偏推 定量。

単なる不偏推定量ではない。有効性（分散）の基準で優れて いる。

ガウス・マルコフの定理（OLS の有効性・最小分散）は、 データが古典的仮定を満たすことを前提とする。

古典的仮定に従わないデータでは、OLS 以外の推定法が最適 になるかも？

今回の復習問題

次の設問に答えよ。各自用意した紙に解答し、退出時に提出せよ。 講義名、日付、学籍番号、氏名を明記すること。

1 _{公式2、(6) 式の、S}

XX に関するパートを証明せよ。

2 _{テキスト第}5 章復習問題 5.1。

References

鹿野繁樹. 新しい計量経済学. 日本評論社, 2015.