計量経済学#11
重回帰分析 (1)
鹿野繁樹
大阪府立大学
2017 年 11 月更新
Outline
1 重回帰モデル
2 重回帰分析の注意点
テキスト：鹿野繁樹 [2015]、第 6.1 章・第 6.2 章。
前回の復習
1 計量分析ソフトgretl
Section 1
重回帰モデル
重回帰モデル：複数の説明変数
これまで使ってきた単回帰モデル
Yi = α + βXi+ ui, i = 1, 2, . . . , n. (1) ... 社会現象・自然現象を、単一の決定要因だけで説明するのは難 しい！
マンション価格：築年数だけでなく、間取りや最寄駅からの 距離、その地域の治安や景観にも依存。
人間の体重：年齢や性別、身長、カロリー摂取・消費量、遺 伝（親の体格）など。
生産関数Qi = F (Ki, Li)：企業の生産水準 Qiは、資本Kiと
労働Liで決まる。
回帰モデルの拡張：k 個の説明変数 X1i, X2i, . . . , Xki を持つ、重回
帰モデルを考える。
重回帰モデル
Yi = α + β1X1i+ β2X2i+ · · · + βkXki+ ui, i = 1, 2, . . . , n. (CA0∗) k 個の係数 βj（j = 1, 2, . . . , k）と定数項 α ⇒ 計 (k + 1) の未 知パラメータ。
uiは誤差項。
引き続き、回帰分析の古典的仮定（講義ノート#08・#09）を仮 定。⇒ これまでと同じ議論より、個々の観測Yiは正規分布に従う。
Yi ∼N(α + β1X1i+ β2X2i+ · · · + βkXki, σ2). (2)
期待値・分散は
E(Yi) = α + β1X1i+ β2X2i+ · · · + βkXki, Var(Yi) = σ2. (3)
∴ 重回帰でも、「説明変数で期待値がシフトする正規母集団」 が分析対象。
単回帰と比べ、重回帰分析は二つの大きなメリット。
1 複数の説明変数を同時に使う ⇒ モデルの予測力が改善。
2 非実験データの問題点（講義ノート#01）を、部分的に克服 できる可能性。計量経済学の重要テーマ！⇒ 次回以降に議論。
重回帰モデルの OLS 推定
重回帰モデル(CA0∗) の係数 α, β1, β2, . . . , βkをOLS 推定。 説明変数(X1i, X2i, . . . , Xki) による Yiの回帰直線と残差：
Yˆi = a + b1X1i+ b2X2i+ · · · + bkXki, (4) ei = Yi− ˆYi, i = 1, 2, . . . , n. (5) 残差2 乗和（予測誤差の総和）を定義。
Q(a, b1, b2, . . . , bk) = e2i =(Yi− ˆYi)2. (6)
⇒調節弁a, b1, b2, . . . , bkを最小化。
上の最小化問題の解を、OLS 推定量 ˆα, ˆβ1, ˆβ2, . . . , ˆβkとする。
公式 1
Q(a, b1, b2, . . . , bk) を a, b1, b2, . . . , bkで最小化すると、その一階条 件は
uˆi = 0, uˆiXj = 0, j = 1, 2, . . . , k. (7)
ただしuˆi = Yi− ˆYiはOLS 残差。 証明：教科書p72 を参照。
重回帰のOLS ˆα, ˆβ1, ˆβ2, . . . , ˆβkは、(7) 式の (k + 1) 本の連立方 程式の解。（統計ソフトを使えば計算は一瞬。）
重回帰のOLS も、モデルをデータにフィットさせるように決 まる。
説明変数が二つ（ k = 2 ）のケース
簡単化のため、説明変数が二つ（k = 2）のケースを考える。 Yi = α + β1X1i+ β2X2i+ ui. (8)
登場する変数の偏差２乗和と偏差積和を定義。
(Xij, Yi) : SjY =(Xji− ¯Xj)(Yi− ¯Y ), j = 1, 2, (9) (Xij, Xis) : Sjs=(Xji− ¯Xj)(Xsi− ¯Xs), j, s = 1, 2.
(10) 上の表記で、j = s なら偏差 2 乗和 Sjj =(Xji− ¯Xj)2。
(8) 式に対応する残差および残差 2 乗和は
Q(a, b1, b2) = e2i =(Yi− ˆYi)2, Yˆi = a + b1X1i+ b2X2i. (11)
最小化の一階条件：公式(7) より
(Yi−a∗−b∗1X1i−b∗2X2i) = 0, (12)
(Yi−a∗−b∗1X1i−b∗2X2i)X1 = 0, (13)
(Yi−a∗−b∗1X1i−b∗2X2i)X2 = 0. (14) 上式を整理 ⇒ 説明変数がk = 2 個の正規方程式
⎧
⎪⎨
⎪⎩
na∗+ ( X1i)b∗1+ ( X2i)b∗2 = Yi
( X1i)a∗+ ( X1i2)b∗1+ ( X1iX2i)b∗2 = X1iYi
( X2i)a∗+ ( X1iX2i)b∗1+ ( X2i2)b∗2 = X2iYi
. (15)
公式 2 ( 説明変数が k = 2 個の OLS)
説明変数がk = 2 個の重回帰モデルに関し，係数の OLS 推定量は ˆ
α = ¯Y − ˆβ1X¯1− ˆβ2X¯2, (16) βˆ1 = S22S1Y −S12S2Y
S11S22−S12S12
, βˆ2 = S11S2Y −S12S1Y S11S22−S12S12
. (17)
証明：拓[1995] 参照。
X1iの係数推定値βˆ1は、S12やS22、S2Y を通じ，「相方」X2i
から影響を受ける！
一般に重回帰分析では、同一説明変数Xjiであっても、Xji以 外の説明変数Xsiに何を使うかで、係数推定値が変化。
Remark 1
重回帰OLS の特徴：説明変数 Xjiの係数βjのOLS 推定値 ˆβjは、
その他説明変数に何を使うかで値が変わる。
Example 1
2010 年の 47 都道府県の 1 万人当たり医療支出 healthi（入院外）
を、65 歳以上割合 oldiと一人当たり診療所数cliniciにOLS 回帰。 単回帰: healthi = 53.86 + 2.03 oldi, (18) 重回帰: healthi = 36.88 + 0.88 oldi+ 57.64 clinici. (19) 説明変数にcliniciを加えると、oldiの推定値が大きく変わる。
Section 2
重回帰分析の注意点
OLS の統計的性質
公式 3 ( 重回帰 OLS の期待値と分散、ガウス・マルコフ
の定理 )
古典的仮定が成立する標本について、重回帰OLS の期待値・分 散は
E( ˆβj) = βj, Var( ˆβj) = σ
2
Sjj(1 − R2j), j = 1, 2, . . . , k. (20) ここでSjjは、第j 説明変数 Xjiの偏差2 乗和。また R2j は、Xjiを それ以外のk − 1 個の説明変数に重回帰した際の決定係数。さらに 上式の分散は、、不偏推定量の中で最小となる。
証明：Wooldridge [2013] を参照。
古典的仮定を満たす標本ならば、重回帰OLS の統計的性質は単回 帰の場合（講義ノート#08）とほぼ同じ！
重回帰OLS は、回帰係数の不偏推定量。
ガウス・マルコフの定理も成立。OLS は最小分散の不偏推 定量。
母分散σ2の不偏推定量：単回帰のケースにならい、 s2 = 1
n − (k + 1)
uˆ2i, E(s2) = σ2. (21)
n ではなく n − (k + 1) で割る理由：自由度の調整。講義ノー ト#10 参照。
s2より、各βˆjの標準誤差
s.e.( ˆβj) = s
Sjj(1 − Rj), j = 1, 2, . . . , k (22) を得る。⇒ 推定値のブレを、標準誤差で測る。
誤差項の正規性より、 ˆβjは正規分布に従う。 βˆj ∼N
βj, σ
2
Sjj(1 − R2j)
. (23)
上式を標準化すれば、 ˆβjに関するZ 統計量 Zj = βˆj−β
σ/Sjj(1 − Rj)
∼N(0, 1). (24)
を得る。
標準誤差を使えば、t 統計量となる。 tj = βˆj −β
s/Sjj(1 − Rj) =
βˆj −βj
s.e.( ˆβj)
∼T(m), m = n − (1 + k). (25)
係数βjに関する仮説検定
H0 : βj = βj∗ (26) が可能に!
自由度の設定が、m = n − (1 + k) となっている点に注意。 サンプル数n が十分大きい場合は、自由度を無視してよい。
⇒標準正規分布の臨界値z = 1.96 ≈ 2.00 を検定に使う。
Remark 2
重回帰分析におけるOLS 推定量の性質：基本的に単回帰と同じ。 推定：単回帰同様，ガウス・マルコフの定理により，OLS は 最小分散の不偏推定量。
仮説検定：単回帰と同じ手順でt 検定ができる。ただし自由度 m = n − (1 + k) に注意。
Example 2
(18) 式、(19) 式に係数の有意性の t 値を書き加えると healthi = 53.86
(4.02) + 2.03(3.75)oldi, (27)
healthi = 36.88
(3.55) + 0.88(1.97)oldi+ 57.64(6.05) clinici. (28)
cliniciを入れると、oldiの係数の推定値だけでなく、その統計的な 有意性が変化。
多重共線性と「緩い」多重共線性の問題
説明変数の数が増えることで起こる問題点は？
説明変数がk = 2 個の重回帰モデルで、X1iとX2iに正比例の
関係があるとする。
X1i = cX2i. (29) 例：X1iが「円」単位で測った年収、X2iが「万円」単位で 測った年収。⇒ 両者の関係はX1i = 10000X2i。
このとき、X1i = cX2iを正規方程式(15) の X1iに代入すれば
⎧
⎪⎨
⎪⎩
na∗+ (c X2i)b∗1+ ( X2i)b∗2 = Yi
(c X2i)a∗+ (c2 X2i2)b1∗+ (c X2i2)b∗2 = c X2iYi
( X2i)a∗+ (c X2i2)b∗1+ ( X2i2)b∗2 = X2iYi
(30)
上式の第2 式の両辺を c で割ると X2i
a∗+ cX2i2 b∗1+ X2i2 b∗2 =X2iYi. (31)
∴ 第2 式と第 3 式は互いに重複。∴ X1i= cX2iならば、(15) 式は実質2 本の方程式。
一方、未知数（係数）はa∗, b∗1, b∗2の3 つ。⇒「未知数の数
= 3」>「方程式の数 = 2」。∴ 解が一意に定まらない！
説明変数間の完全な線形関係によりOLS の解が一意に定まらない ことを、多重共線性の問題と呼ぶ。
多重共線性のあるデータを使うと、統計ソフトが、その原因 となる変数を自動的に落としてOLS を計算。
実際の分析で注意したいのは緩い多重共線性。説明変数同士に強 い相関関係があると、近似的な比例関係が生じ、統計ソフトで数 値計算上の問題が発生。
症状：OLS の係数推定値や標準誤差が桁外れに大きく・小さ くなる。
具体的なエラーメッセージが出ないので，厳密な多重共線性 よりも厄介。
対策：分析に使う説明変数同士の相関係数を確認し、±1 に近 いならどちらか一方を外す。
自由度修正済み決定係数：モデル選択
重回帰分析でもYiの偏差2 乗和の分解公式（講義ノート#07）が 成立。∴ 決定係数R2を当てはまりの尺度として使る。
SY Y = YY ˆˆY +uˆ2i ⇒ R2 = YˆY ˆˆY SY Y
= 1 − ˆu
2i
SY Y
. (32)
ただしuˆ2i は重回帰のOLS 残差。
説明変数の数k が多いほどモデルの予測力・説明力は高まる。
⇒残差2 乗和 ˆu2i が単調に減少、R2は単調増加。 R2を高めるために、むやみに説明変数を増やす？ 弊害：説明変数の増加で、モデルが煩雑に。で
重回帰では、モデルのデータへの当てはまりとシンプルさを両方 評価する指標として、（自由度）修正済み決定係数
R¯2 = 1 − d(k) ˆu
2i
SY Y
, d(k) = n − 1
n − (k + 1) > 1 (33) を使う。
説明変数を増やすと ˆu2i が減少する一方、調整項d(k) も上 昇し、 ¯R2は下がる。
∴ あまり予測に貢献しない説明変数をむやみに加えると、か えってR¯2は低下！
R¯2をガイドに説明変数群を厳選すれば、説明力が高く、かつ シンプルな重回帰モデルが得られる。
モデルが説明力と簡便さを兼ね備えていることを、節約性
（parsimony）と言う。
R¯2は、節約性を持ったモデルを選択する基準のひとつ。 ファイナンスやマクロ時系列データなど、予測を目的とする 分野は、予測力や節約性の基準によるモデル選択を重視。 一方、変数間の因果関係を追及する分析（この講義）では、 機械的なモデル選択を行なわない。⇒R2やR¯2は「高いに越 したことはない」程度の認識で十分。
今回の復習問題
次の設問に答えよ。各自用意した紙に解答し、退出時に提出せよ。 講義名、日付、学籍番号、氏名を明記すること。
1 テキスト第6 章復習問題 6.1。
References
J. M. Wooldridge. Introductory Econometrics. Cengage Learning, 5th edition, 2013.
鹿野繁樹. 新しい計量経済学. 日本評論社, 2015. 山. 拓. 計量経済学. 新世社, 1995.
