担当:鹿野(大阪府立大学)
2013 年度後期
はじめに
前回の復習
線形制約(複数の回帰係数への帰無仮説)→OLS残差2乗和に影響。
F検定の考え方と手順。 カイ2乗検定による検定。
今回学ぶこと
制約付きのOLS推定と残差2乗和の求め方。
回帰係数の均一性の検定。
テキスト該当箇所 :6.2、6.3章。
1 制約付き回帰モデルの実例
1.1 カイ 2 乗検定(or F 検定)の概要
カイ2乗検定(or F検定)のアイディア:回帰モデルの係数に線形制約H0(仮説値) を 課した残差2乗和SSE0= ˆv2
i と、制約なしの通常の残差2乗和SSE = ˆu2
i の差
SSE0−SSE ≥ 0 (1)
に着目。(∴線形制約による 。)
⊲ 差をカイ2乗統計量に変換。
χ2=m2 SSE0−SSE SSE
∼Chi(m1), (2)
ここでm1=G、m2=n −(K + 1)。
⊲ カイ2乗値χ20 >5%臨界値χ2(m1) ⇒ H0を棄却。
Remark:線形制約の検定では最低限、OLSを かける必要。
⊲ 1回目: のSSE = ˆu2i ⇒回帰モデルを普通にOLS推定。
⊲ 2回目: のSSE0= ˆv2i ⇒線形制約H0の下でモデルをOLS推定。
1
実証分析で典型的な線形制約 (講義ノート#15前半も参照)
1. の検定。
2. 回帰係数の の検定。
1.2 結合有意性の検定
普通の回帰モデル :簡単化のため、説明変数が二つ(K =3)の重回帰モデル
Yi = α + β1X1i+ β2X2i+ β3X3i+ui (3) を考える。古典的仮定は満たされるものとする。
⊲ 制約なしのOLS残差2乗和SSEは、(3)式を すれば得られる。
⊲ gretlの出力では“Sum squared resid”。
結合有意性の線形制約 :分析者が(3)式に対し、線形制約
H0: β2= β3=0 (4)
を置いたとする。(制約の数G =2。)
⊲ この制約は、「X2iとX3iは 」という仮説。⇒検定で棄却されれば、X2i とX3iが である証拠。
⊲ この制約を(3)式に代入すると
β2= β3 =0 ⇒ Yi= . (5)
(注意:制約付きのモデルは、 誤差項をviと表記。)
⊲ ∴(3)式とは別に、 (5)式をOLS推定し、制約下の残差2乗 和SSE0を求めれば良い。
Remark:説明変数が 有意か否かが問題となる実証分析も多い。
⊲ 例:(3)式で、Yi =所得、X1i =年齢、X2i =高卒ダミー、X3i =大卒ダミーであると
する。「年齢をコントロールすれば、学齢は所得に影響を与えない」という仮説(疑 い)をどう検定する?
⊲ t検定による高卒ダミーの係数β2の有意性検定は、「 が、所得へ の効果があるか否か」 の検定。大卒ダミーの係数β3も同様。
⊲ 一方「 の効果があるか否か」 は、β2とβ3を の問題。
1.3 回帰係数の一次結合の検定
回帰係数の一次結合の線形制約 :再び(3)式のモデルを考える。 いま線形制約
H0: β1+ β2=1 (6)
を置いたとする。(制約の数G =1。)
⊲ ∴係数同士の線形関係 ( )を指定。
⊲ この制約をβ1= と移項し、(3)式に代入すると
Yi= α +X1i−β2X1i+ β2X2i+ β3X3i+vi
= α +X1i+ β2(X2i−X1i) + β3X3i+vi
⇔ = α + β2 + β3X3i+vi. (7)
⊲ ∴Yi′=(Yi−X1i)、X2i′ =(X2i−X1i)という変数を作れば、
= α + β2 + β3X3i+vi. (8)
コレが線形制約下の回帰モデル。⇒OLS推定で制約付きのSSE0が得られる。
例:北海道の公立病院のコブ・ダグラス型生産関数(講義ノート#13) の、推定結果(サ ンプル数n =89、カッコ内はt値)とSSEは
log( ˆQi) = 0.44
(2.78)+(10.82)0.72 log(Li) + 0.18(2.54)log(Ki), SSE = 0.66. (9)
⊲ ここで (規模に関する )の仮定
H0: β1+ β2=1 (10)
をβ1=1 − β2と変形すれば、
log( ˆQi) − log( ˆLi)
=qi
= α +log( ˆKi) − log( ˆLi)
=ki
β2+vi. (11)
⊲ qiをkiに回帰した結果、
ˆqi=0.03
(0.21)+0.29(3.93)ki, SSE = 0.82. (12)
β1の推定値は、制約より間接的にβˆ1 =1 − 0.29 = 0.71。
⊲ カイ2乗値は
χ20= (89 − 3) ×0.82 − 0.66
0.66 =20.85. (13)
⊲ 自由度m1=G =1の5%臨界値は、分布表よりχ2(1) = 3.841。∴χ20 =20.85 > 3.841 よりH0は 。
2 サブ・サンプルと係数の均一性検定
2.1 サブ・サンプル分析
サブ・サンプル:サンプル数nの標本が、二つの属性グループに分割できるとする。それ ぞれのグループのサンプルを、 と呼ぶ。
⊲ 「 男 or女 」 、「 製 造 業or非 製 造 業 」 、「2010 年 に 調 査 or 2011年 に 調 査 」な ど 。
⇒ Di =0, 1(講義ノート#14) でグループを区別。
⊲ Di=0グループのサンプル数を 、Di =1グループのサンプル数を と置 く。∴総数n = 。
⊲ n0、n2ともに十分多いならば、 それぞれのグループを別個に回帰分析しても良い。
これを と呼ぶ。
サブ・サンプル回帰:標本を二つのグループに分割し、 それぞれOLS推定。
Di =0 : Yi= α + βX1i+ β2X2i+ · · · + βKXKi+u0i, i =1, 2, . . . , n0, (14) Di =1 : Yi= α′+ β′X1i+ β′2X2i+ · · · + β′KXKi+u1i, i =1, 2, . . . , n1. (15)
⊲ 回帰係数の値が、 グループ毎に 可能性。
⊲ ∴一般に ⇒推定される係数の総数は、 二式合わせて 。
2.2 係数均一性の仮定:標本のプール
サンプルのプーリング:両グループで係数に大差がないならば、サブ・サンプルに分けず、 統合したサンプルでOLS推定すべき。
Yi = α + βX1i+ β2X2i+ · · · + βKXKi+vi, i =1, 2, . . . , . (16)
⊲ 二つのグループを統合することを、「標本を 」と言う。
⊲ サンプル総数nを所与とすれば、推定すべきパラメータ数が
2(K + 1)−プール−−−−→(K + 1) (17) に減るので、推定の精度が上がる。∴できることならば、 プールしたほうがお得。
⊲ プールすべきか否かを、 判断するには ?⇒カイ2乗検定(F検定)を 応用。
回帰係数の均一性の線形制約 :サブ・サンプル回帰の(14)式と(15)式に登場する回帰係 数に関し、次の仮説
H0 : α = α′, β1= β′1, . . . , βK = β′K (18) を置く。制約の数はG = 。
⊲ ∴「両グループで、 すべての係数が等しい」 という仮説。
⊲ この制約下では、二つの回帰式は統合され となる。(注意:制約下のモデ ルなので、誤差項はvi。)
⊲ この制約が真であるならば、 サブ・サンプル毎に回帰分析する必然性がない⇒標本 をプールして回帰分析すべき。
Remark:サブ・サンプルOLSとプールしたOLS、どちらの残差2乗和が大きい?
⊲ サブ・サンプルOLS(制約のない2本の回帰式、図1A):グループ毎に異なる係数 を当てはめ⇒モデルの、データへの当てはまりが良い⇔残差2乗和が 。
⊲ プールしてOLS(制約で2本の回帰式を統合、図1B):両グループに同じ係数を「無 理強い・使い回し」⇒サブ・サンプルOLSと比べ、当てはまりが悪い⇔残差2乗
和が 。
⊲ ∴残差2乗和の差がそれほど大きくなければ、量グループの係数の差は 、 と考えればよい!⇒カイ2乗検定でジャッジ。
3 4 5 6 7 8 9
681012141618
A
Xi
Yi
3 4 5 6 7 8 9
681012141618
B
Xi
Yi
図1:サブ・サンプル毎の回帰(A)vs. プールした回帰(B)
2.3 回帰係数均一性のカイ 2 乗検定
OLS残差2乗和の計算
⊲ 制 約 な し:標 本 を グ ル ー プ 分 け し て (14)式 、(15) 式 を そ れ ぞ れ 別 個 に OLS推 定
⇒ を計算。
SSE =ˆu20i+ˆu21i. (19)
⊲ 制約付き:標本をプールして(16)式をOLS推定⇒残差2乗和を 使う。 SSE0=
ˆv2i. (20)
係数均一性のカイ2乗検定 1. カイ2乗値を求める。
χ20=m2
SSE0−SSE SSE
=[n − 2(K + 1)] SSE0−SSE SSE
. (21)
二つの回帰式を推定するので、m2= である点に注意。
2. カイ2乗分布表から自由度m1 =G = K +1の5%臨界値、χ2(m1)を求め、上で得た カイ2乗値と比較。
χ20 χ2(m1) (22)
ならば「係数が均一であるという制約H0は、無視できないほどSSEを大きくする」 と判断。⇒H0を 。
例:中古マンション価格(講義ノート#12)で、ワンルーム・ワンルーム以外で分けた場 合のOLSと、プールしたOLSの結果は次の通り。
ワンルーム以外 ワンルーム 全サンプル 係数 t値 係数 t値 係数 t値 定数項 1933.77 12.17 798.12 1.67 1496.51 9.88 最寄駅時間 -38.05 -4.08 5.36 0.24 -32.68 -3.20 築年数 -63.02 -15.16 -43.92 -4.53 -58.45 -12.61
面積 60.16 22.48 63.39 3.57 64.18 33.58
修正済みR¯2 0.85 0.82 0.88
サンプル数 157 37 194
SSE/10万 918 38 1020
⊲ 制約なしの残差2乗和はSSE = 918 + 38 = 956(和)、一方制約付きはSSE0=1020
(そのまま)。よってカイ2乗値は
χ20 =(194 − 2 × 4) × 1020 − 956
956 =12.45. (23)
⊲ 一方自由度m1 = (K + 1) = 4の5%臨界値はχ2(4) = 9.488。∴ χ20 = 1245 > 9.488な ので、H0 :「係数が両グループで等しい」 は 。
Remark:時系列データ(講義ノート#01) による回帰分析では、「ある時点n
∗
の前後で 係数が均一か」(モデルの構造の安定性) が問題となる。これを と呼ぶ。
⊲ 時点n∗を境に、観測の前半i =1, 2, . . . , n∗と後半i = n∗+1, n∗+2, . . . , nで、回帰係 数が不変か?
⊲ 構造変化の検定:係数の均一性の検定をすれば良い。 テキストp153∼154参照。
まとめと復習問題
今回のまとめ
カイ2乗検定の実行法:制約付き残差2乗和の求め方。
回帰係数の均一性の検定。
復習問題
出席確認用紙に解答し (用紙裏面を用いても良い)、 退出時に提出せよ。
1. 回帰モデルYi = α + β1X1i+ β2X2i+ β3X3i+uiに対し、H0: β1+ β2+ β3 =1の線形制約を 置く。制約付きの回帰モデルを導出せよ。 ただし誤差項はviと表記すること。
2. いま、標本中の観測が5つのサブ・グループに分割できるとする。H0:「すべてのグルー プで係数が等しい」 という線形制約の検定を考えたい。
(a) 制約なしのSSE、制約付きのSSE0を求める方法を述べよ。
(b) 各グループに関し、 推定すべきパラメータの数をK +1とする。m1を設定せよ。 (c) この検定のためのカイ2乗統計量と自由度m2を設定せよ。