決定係数 計量経済学 鹿野研究室 note07

担当：鹿野（大阪府立大学）

2013 年度後期

はじめに

前回の復習

 二次元データ_(Yi,Xi)と、基本統計量の代数的性質。

 回帰直線_Yˆ_{i = a + bXi}の_OLS推定。「_Yiを_Xiに回帰する。」

今回学ぶこと

 _OLS予測と_OLS残差。

 決定係数_R²。

 テキスト該当箇所 ：_2.3章。

1 OLS による予測と OLS 残差

1.1 OLS 予測値

 _OLS予測値：被説明変数_Yiを、説明変数_Xiに回帰→回帰直線_Y^ˆ_{i = a + bXi}。

⊲ ^残差2^乗和_{Q(a, b) =} e²_i ^{の最小化（残差}e_{i= Yi}^{− ˆ}Y_i^）→OLS^推定量 b^∗₌ ^SXY

S_XX^{, a}

∗= ¯^{Y − b∗X.¯ (1)}

⊲ _{a = a}^∗,_{b = b}^{∗のもとでの}Y_i^{の予測値は}

Yˆi_{= a}^∗_{+ b}^∗Xi, i = 1, 2, . . . , n. ⁽²⁾

これを と呼ぶ。

 _OLS予測の使い方

1. (2)^式のX_i^{に適当な値}X^{′を代入⇒（}OLS原理の意味で）良い予測値_Yˆ^′_{= a}^∗_{+ b}^∗_X^′ を得る。

2. (2)^式のY^ˆi^に目標値Y^{ˆ′′を代入し、}Xi^{を解く⇒目標値達成に必要な}Xi^の値X”^が分 かる。

1

 平均値_X^¯ での_OLS予測：₍₂₎式で_{Xi = ¯X}と置くと、_a

∗= ¯^{Y − b∗X¯ より}

Yˆ_{i= ¯}Y − b^∗_{X + b}^{¯ ∗}_{X =}^¯ . (3)

∴ _{Xi= ¯X}のとき、_Yiの予測値_Yˆ_{i =}平均値_Y¯。

⊲ OLSの予測原理に基づけば、「平均的な_Xiを持つ個体は、（予測式を使うまでもな く）_Yiも平均的」と見る。

⊲ 散布図上に回帰直線を描くと、 必ず平均値の座標_{( ¯X, ¯Y)}を通る。

 _OLS予測値の平均：_Y^ˆ_iの平均は、_a

∗= ¯^{Y − b∗X¯ と講義ノート#06の(Xi− ¯}X) = 0^より

¯ˆY_{i =} ¹ n

_Yˆ_{i =} ¹ n

(a^∗_{+ b}^∗X_{i) =} ¹ n

( ¯Y − b^∗_{X + b}^{¯ ∗}X_i)

= ¹ n

_Y¯



=n ¯^Y

−_b^∗_(Xi− ¯_X)



=0

= ^{. (4)}

∴現実に観測される_Yiも、_OLS予測値_Yˆ_iも、平均値は同じ_Y¯。

⊲ ^注意：OLS^{以外の一般的な予測値}Y_{i = a + bXi}では、必ずしも成立しない。

1.2 OLS 残差

 _OLS残差：_OLS推定量_a^∗_,b^∗のもとでの残差（予測誤差）

ˆu_{i= Yi}^{− ˆ}Y_{i = Yi}⁻a^∗−b^∗X_i, i = 1, 2, . . . , n ⁽⁵⁾ を、_OLS残差と呼ぶ。

⊲ ∴残差₂乗和_{Q(a, b) =  e}²

i の最小化の一階条件 （講義ノート_#06） は、定義上、下 式のように書ける。

, . (6)

⊲ ^同様に、a^∗,b^∗（＝最小化の解） で評価した_{Q(a, b)}（＝目的関数） の値も、定義上

Q(a^∗,b^∗_{) =}^ˆu²_i. (7)

 _Yˆ_iと_ˆuiの関係：_OLS予測値_Yˆ_iと_OLS残差 _ˆuiについて、₍₆₎式を用いると

ˆu_iY^ˆ_{i =}^ˆu_i(a^∗_{+ b}^∗X_{i) =}^（...^中略）_{= 0.} (8)

（証明→今回の復習問題。）

⊲ ^注意：「 ˆuiYi = 0^{」ではない。}

 _Remark：_OLS予測値_Yˆ_iと_OLS残差 _ˆuiを用いて_Yiを表現すると

ˆui = Yi^{− ˆ}Yi ^⇔ Yi= ˆ^Yi+ ˆui^. (9)

⊲ ∴データとして観測された_Yiの個体差・変動は、恒等的に

Y_i^の変動_{= OLS}^{による予測}Y^ˆ_i+^予測誤差ˆu_i. (10) と分解できる。

⊲ Y^ˆ_i^で、Y_iの変動を何パーセント捕捉できたか ？⇒予測力を測る指標が必要。

2 _決定係数

2.1 偏差 2 乗和の分解

 _Yiの偏差₂乗和：₍₉₎式の_{Yi = ˆYi+ ˆui}両辺から_Y¯ を引き、₂乗すると

Y_i^{− ¯}_{Y = ˆYi}^{− ¯}_{Y + ˆui} ^{−両辺を−−−−−−−−2 乗→} (Y_i^{− ¯}Y)² ₌^( ˆY_i^{− ¯}_{Y) + ˆui} ². (11)

⊲ ^両辺をi = 1, 2, . . . , n^{で足し合わせれば}

(Y_i^{− ¯}Y)²



=SYY

=^{ ( ˆY}i^{− ¯}Y) + ˆui

2

. (12)

∴上式左辺は_Yiの偏差2乗和_SYY。右辺は？

 回帰₂乗和：₍₁₂₎式右辺を展開すると

 ( ˆY_i^{− ¯}Y)²_{+ 2( ˆ}Y_i^{− ¯}Y)ˆu_{i+ ˆu}²_{i =}^( ˆY_i^{− ¯}Y)²_{+ 2}^( ˆY_i^{− ¯}Y)ˆu_i



(∗)

+

ˆu²_i. (13)

⊲ (6)^{式から、上式}(∗)^の箇所は

(∗) =^{( ˆYiˆui− ¯Y ˆui}) =^{Yˆiˆui− ¯Yˆui}= 0 − ¯Y · 0 = 0. ⁽¹⁴⁾

⊲ ∴(12)^式は

SYY =

( ˆYi^{− ¯}Y)²₊^ˆu²_i. (15)

上式右辺第₁項は、予測値_Yˆ_iの、平均まわりの変動。これを と呼び、 SˆYY =

( ˆYi^{− ¯}Y)². (16)

と置く。一方第₂項は、_OLSで評価した残差₂乗和_Q(a

∗,b^∗_{) =} ˆu²_i^。

 _Remark：_Yiの偏差₂乗和について、次式の分解が成立 S_YY



Y_iの偏差2 乗和

= ^SˆYY



回帰2 乗和

+ Q(a^∗,b∗)



残差2 乗和

. (17)

⊲ ^一般にQ(a^∗,b^∗_{) =} ˆu²_i ^≥0^。∴OLS^{予測値のバラつき}S^ˆ_{YY =}( ˆYi^{− ¯Y)2は、実測値}

Yi^{のバラつき}SYY =^(Yi^{− ¯}Y)^{2を超えない。}

S_YY ^{≥ ˆ}S_YY. (18)

0 10 20 30 40

05101520

A: R−square = 0.22

X_i Yi

0 10 20 30 40

05101520

B: R−square = 0.86

X_i Yi

図_1:散布図・回帰直線の様子と、 決定係数_R²の大きさ

2.2 決定係数 _R

：回帰分析の事後評価

 決定係数：偏差₂乗和・回帰₂乗和・残差₂乗和による次の指標 R²₌ ^{回帰2乗和}

SˆYY

偏差₂乗和_SYY

= 1 −

残差₂乗和_Q(a

∗,b^∗) 偏差₂乗和_SYY

. (19)

を、 と呼ぶ。₍₁₇₎式より

≤_R²≤ _{. (20)}

∴_R²は、実測値_Yiの変動のうち、_OLS予測_Yˆ_{i= a}^∗_{+ b}^∗_Xiで説明された割合。

⊲ R^2が1^に近い⇔回帰直線が、データ（散布図）の傾向に良くフィット。_Yiの動き・ バラつきが_Y^ˆ_iで良くとらえられている。

⊲ R^2が0^に近い⇔回帰直線の、データへの当てはまりが悪い。

 実際の分析では、 回帰分析の事後評価として決定係数_R²の値に注目する。

⊲ ^{分析を行ったら、}OLS^推定値a^∗,b^{∗だけでなく、必ず}R^{2もレポート。}

⊲ Excelや統計ソフトを使えば、推定値_a

∗,b^∗やR²は全て計算してくれる。（通常、手 計算はしない。）

 _Remark：散布図の傾向（右上がり・右下がり）がハッキリしているデータは、_OLS予測

値_Yˆ_iの実測値_Yiへの当てはまりが良く、 決定係数_R²が大きくなる。

⊲ 仮に散布図の点が全て回帰直線上に乗ると、 全ての_iについて_Yˆ_{i = Yi}（∴ _{ˆui = 0}）。 このとき_R²_{= 1}。（実際は、このようなケースはまず無い。）

⊲ ^例：図1は擬似データ （右下がり、_{n = 200}）の散布図と回帰直線。 図_1Aのデータ は_R²_{= 0.22}。図_1Bのデータは_R²_{= 0.86}。当然、図_1Bの方が予測の信頼度は高い。

まとめと復習問題

今回のまとめ

 _OLS予測と_OLS残差の性質。

 決定係数：回帰直線がデータにどれだけフィットしたか、 評価。

復習問題

出席確認用紙に解答し （用紙裏面を用いても良い）、 退出時に提出せよ。

1. (6)^{式の条件に注意し、}(8)^{式を証明せよ。}

2. OLS^{推定の結果、}Yi^の偏差2^乗和SYY _{= 20}^、回帰2^乗和S^ˆYY _{= 15}^{を得た。（推定値}a^∗,b^∗ は省略。）決定係数_R²を求めよ。