回帰モデルのF検定とカイ2乗検定 計量経済学 鹿野研究室 note15

担当：鹿野（大阪府立大学）

2013 年度後期

はじめに

前回の復習

 ダミー変数を、 回帰モデルの説明変数として使う。

 係数ダミー、線形確率モデル、 複数のグループのダミー。

今回学ぶこと

 仮説検定の上級編 ：回帰係数への線形制約。

 _F検定の考え方。

 テキスト該当箇所 ：_6.1章。

1 線形制約と OLS 残差 2 乗和

1.1 回帰係数への線形制約とは？

 複数の回帰係数への仮説値 ：重回帰モデル

Y_{i = α + β1}X_{1i+ β2}X_2i+ · · · + βK^XKi+ ui ⁽¹⁾

の、係数に関する仮説検定を考える。

⊲ ^{の仮説検定}⇒t^{検定（講義ノート}#09^、#11^{）。特に有意性の}t^検定 H0 : βj= 0^が重要。

⊲ ^上級編： について仮説値の検定をするには ？

 例：説明変数が_{K = 3}個の重回帰モデル

Yi= α + β1X1i+ β2X2i+ β3X3i+ ui^. (2)

⊲ X_3i^{の係数の有意性検定}⇒t^検定。

H0: β3 = 0 ^{⇒ t}0= ^ˆβ3

s.e.( ˆβ₃)^{. (3)}

およそ_|t0|>2なら上記帰無仮説を棄却、_X3iは_Yiに有意な影響。 1

⊲ 複数の係数の有意性 （ ）

H0: β1 = β2= β3 = 0 (4)

の有意性を検定するには ？

 例：対数線形化したコブ ・ダグラス型生産関数 （講義ノート_#13）

log(Qi) = α + β1log(Li) + β2log(Ki) + ui^. (5) β₁₌^労働（Li^{）弾力性、β}2=^資本（Ki^{）弾力性。}

⊲ ^{規模に関する} （一次同次性） の仮定

H₀: β_{1+ β2= 1} (6)

を、どうやって仮説検定する ？

 線形制約：回帰モデルの複数の係数にまたがる帰無仮説を、 と呼ぶ。

⊲ ^例：「H0: β1+ β2= 1^」、「H0: β3 = β4= 0^」など。

⊲ ^{制約の数を}G^と置く。

⊲ ^注意：「H₀: β_{1+ β2= 1}^」なら_{G = 1}^、「H₀ : β_{3= β4 = 0}^」なら_{G = 2}^{。∴制約の数は、} をカウント。（間違えやすいので注意。）

 _Remark：_t検定では、線形制約を検定できない。

⊲ ^{複数の仮説を、 するには？}⇒F^検定。F^{統計量による検定。}

⊲ ^{より実用的な、 カイ}2^{乗統計量による近似。}

1.2 線形制約の OLS 残差 2 乗和への影響

 通常の_OLS残差₂乗和：簡単化のため、説明変数が二つ（_{K = 2}）の重回帰モデル Yi= α + β1X1i+ β2X2i+ ui (7) の_OLS推定を考える。（古典的仮定_CR1∼CR5は成立すると仮定。）

⊲ OLS^{推定量は、残差}2乗和（予測誤差）最小化の解（講義ノート_#06、_#11）。 Q( _{) =}^e²_{i =}^(Yi⁻a − b1X1i⁻b2X2i)² −−−−−−−−−−−−−^{a, b1, b2で最小化}→ α, ˆˆ β₁, ˆβ₂.

(8)

⊲ OLS^残差ˆui^の2^乗和は

Q( ˆα, ˆβ₁, ˆβ_{2) =}^ˆu²_i, ˆu_{i= Yi}−α − ˆˆ β₁X_1i− ˆβ₂X_2i. (9) ...^{これは決定係数}R^{2（講義ノート}#07） の計算で登場した数値。 最小化された_OLS の目的関数。

⊲ 以下、制約なしのナチュラルな_OLS残差₂乗和を

(10)

（sum of squared errors^{）と置く。}

 線形制約下の_OLS残差₂乗和：いま分析者が、線形制約

H0: α = 5, ^β2= 2 ⁽¹¹⁾

を置いたとする。

⊲ ^{この制約下で、}(7)^式は

Y_{i = 5 + β1}X_{1i+ 2X2i+ vi}. (12)

⊲ 注意：制約なしのモデル₍₇₎式と区別するために、 誤差項を_viと表記。

⊲ ^{このとき残差}2^乗和とOLS^推定量は

Q( _{) =}^(Y_i−5 − b₁X_1i−2X_2i)² −−−−−−−−−^{b1で最小化}→ β^˜₁. (13) 線形制約より_{α = 5}、_{β2 = 2}。∴_OLSで決めることができるのは、 の_OLS推 定量_β˜₁のみ。

⊲ ^{線形制約の下での}OLS^残差2^乗和は

Q(5, ˜β₁,_{2) =}^ˆv²_i, ˆv_{i= Yi}−5 − ˜β₁X1i^−2X2i^{. (14)}

これを以下のように略記する。

. (15)

 _Remark：線形制約なし・線形制約ありの残差₂乗和を比較。

⊲ _{SSE =} ˆu²_i^{： を調節して、 残差}2乗和を最小化。 すべての調節弁を

操作。

⊲ SSE₀₌ ˆv²_i^{： 調節して、残差}2^{乗和を最小化。（一部の係数は、} 線形制約であらかじめ固定。） 一部の調節弁しか操作できない。

⊲ ∴^{一般的に、}

SSE₀



線形制約あり

SSE

線形制約なし

. (16)

が成立。_OLS原理に基づかない線形制約を一部の係数に置くと、 残差₂乗和が大き

くなる＝モデルの なる。

⊲ ∴^両者の差

SSE0⁻SSE ≥ 0 (17)

は、「線形制約_H0によって 」を測る。

2 F _検定

2.1 F 統計量

 _F検定の考え方：残差₂乗和のギャップ、₍₁₇₎に着目。

⊲ ^線形制約H0が正しい（データと整合的）_⇒モデルの当てはまりを、それほど悪く しないはず。∴_SSE0−SSEは 。

⊲ H₀ が誤り（データに合わない）_⇒モデルの当てはまりをかなり悪くするはず。∴

SSE₀−SSE^{は 。}

⊲ ... ただし、これでは「いくら以上なら大きいズレ_⇒アウト」なのか判断できない！

 _Remark：線形制約による当てはまりの悪化_SSE0−SSEを、 な統

計量（_F統計量）に換算。

⊲ t検定で、係数の推定値と仮説値の差_{β − β}ˆ ₀を_t統計量に換算してジャッジするのと 同じ発想。

 _F統計量：残差₂乗和の差を変換した次の統計量 F = ^{(SSE0−SSE)/m1}

SSE/m₂ ⁼

(SSE₀−SSE) SSE

m₂ m₁^,

m_{1= G,} m₂= n − (K + 1) ⁽¹⁸⁾ を、 と呼ぶ。_F統計量は自由度_{m1, m2}の に従う。

F ∼F(m₁, m₂). (19)

二つの自由度_m1、_m2を持つ点に注意。

⊲ ^自由度m₁^{：線形制約}H₀^{の、制約の数}G^。

⊲ ^自由度m₂^：t検定の自由度（講義ノート_#11） と同じ。

 _F分布の性質：図₁（自由度_{m1 = 4, m2= 20}）。

⊲ ^左右 のゆがんだ分布。 二つの自由度_{m1, m2}で形状が変化。

⊲ ^分子SSE₀−SSE ≥ 0^、分母SSE > 0^{なので、必ず 。∴}F^{統計量がゼロ以下} の値をとる確率は、 ゼロ。

2.2 F 検定

 _F検定の手順

1. (18)^{式に従い、データから}F^値F0^{を求める。（}OLS^{推定で制約下の}SSE0^を求める

方法は、次回講義ノート_#16で。）

2. F^{分布表（テキスト}p354^{）から自由度}m₁, m₂^の F(m₁, m₂)^を調べ、 (a) F₀ F(m₁, m₂) ⇒^差SSE₀−SSEは無視できないほど大きい。 線形制約_H0を

。

(b) F0 F(m1^{, m}2) ⇒^差SSE0−SSE^{は誤差の範囲内。線形制約}H0^{を 。}

0.00.20.40.6

F

f(F; 4, 20)

0 F(4,20)=2.87

1−α

α α=0.05

図_1:自由度_{m1= 4, m2= 20}の_F分布と、その右端_5%臨界値_F(4, 20) = 2.87

 _Remark：線形制約の_F検定は「_F0がゼロより十分大きいかどうか」 のチェック。_F0は 負にならない。

⊲ ∴ となるように、臨界値を求める。いわゆる 。

⊲ ^{これまでの両側}t^{検定（左右合わせて}5%^{）と異なるので注意。}

 例：_{G = 2}の線形制約_H0のもとで_{SSE0= 12}、制約なしで_{SSE = 10}を得た。説明変数は K = 4^{個、サンプル数は}n = 25^{。この線形制約H}0^をF^{検定せよ。}

⊲ ^自由度はm1= G = ^、m2= n − (K + 1) = ^。F値は F0 = ^(SSE0−SSE)

SSE

m2

m₁ ⁼

12 − 10 10 ^×

20

2 ^{= . (20)}

⊲ F^{分布表より、}m1= 2, m2= 20^{の臨界値はF}(2, 20) = 3.49^。

⊲ F₀= 2 < 3.49 ⇒^線形制約H0^{は、 。}

⊲ ここで「棄却されない」とは、「_H0であらかじめ指定したパラメータ値でも、モデ ルの当てはまりが悪くならない_⇒H0は妥当だろう」という意味。

 _Remark：カイ₂乗分布による_F統計量の近似（おススメ！）

⊲ F検定は、自由度を二つ見ないといけないので、 不便。_⇒一方、サンプル数_nが十 分大きければ、次の統計量_χ²は自由度_m1の に従う。（_{χ =}ギリシ ア文字のカイ。）

χ²_{= m2}^{ SSE0−SSE} SSE

= m1F ∼Chi(m1). (21)

⊲ ^カイ2乗分布の自由度は一つ。∴_Fではなく、 （テキスト_p353） の_5%臨界値、_χ²_(m1)で検定するほうが良い。（サンプルが少ない場合は、面倒でも F^{分布表で検定。）}

⊲ n^{が多いときに、}t分布ではなく正規分布の臨界値_{1.96 ≈ 2}で判断するのと同じこと。

 例：先ほどの数値例で、 カイ₂乗値は χ²_{0 = m2}^{ SSE0−SSE}

SSE

= 20 × ^{12 − 10}

10 ^{= 4. (22)}

⊲ ^カイ2^{乗分布表より、}m_{1= 2}^の5%^臨界値はχ²(2) = 5.991^。

⊲ χ²₀ = 4 < 5.991 ⇒^線形制約H0^{は、 。}Fの臨界値による結論と同じ。

⊲ 注意：このサンプル数（_{n = 25}）の場合、カイ₂乗近似がうまく働くかどうかは微妙 なところ… 。

まとめと復習問題

今回のまとめ

 線形制約（複数の回帰係数への仮説値） による、_OLS残差₂乗和の変化。

 _F検定の考え方と手順。_⇒より勘弁な、カイ₂乗検定。

復習問題

出席確認用紙に解答し （用紙裏面を用いても良い）、 退出時に提出せよ。 1. 次の線形制約について、 制約の数_Gを求めよ。

(a) H0 : β1= 0.5, ^β3= −0.2^。 (b) H₀ : β_{1+ 2β2= 4}^。

(c) H₀ : β_{1= β2} = · · · = βK= 0^。

2. ^{一般的に、制約下の}OLS^残差2^乗和SSE0が、制約なしの（通常の）_OLS残差₂乗和_SSE を上回る理由を、 簡潔に説明せよ。

3. ^{制約の数が}_{G = 5}^{の線形制約}H₀^のもとでSSE_{0 = 15}^{、また制約なしで}_{SSE = 10}^を得た。 説明変数は_{K = 8}個、サンプル数は_{n = 58}。この線形制約_H0をカイ₂乗検定せよ。

(a) ^カイ2^乗値χ²₀^{を求めよ。}

(b) ^カイ2^{乗分布表から、自由度}m1= G = 5^の右端5%^臨界値χ²(5)^{を求めよ。} (c) H0^{が棄却されれば○ 、 されなければ× と答えよ。}