計量経済学I 講義資料 7 – 回帰分析と推定法 1/ 3
7 回帰分析と推定法
7.1 単回帰分析とは
A. はある事象が以下のように別の要因で分解可能と考える
yi = α + βxi+ ϵi, i= 1, 2, · · · , N (7.1) 1. yiが分析対象である 1、xiが要因となる 2
2. α が安定的な要因である 、β が説明変数の限界効果を示す 3. ϵiがショック要因である
B. 回帰モデルは近代経済学のものに比べ単純に見えるけれども実際は利用可能 1. 変数間が和で表現可能とする仮定を とよぶ
2. 変数間が積の形で示されるのを とよぶ 3. 説明変数が一つだけのモデルを特に とよぶ
7.2 回帰分析における仮定
A. 回帰分析をする際にある種の が必要
1. あらゆる状況に対応できる回帰分析を行うわけではない
2. 仮定はある程度 があるが必ずしも常に満たされるわけではない 3. 仮定が崩れた際には対応が別途必要
B. 誤差項が回帰分析の決め手であり、5 つの仮定がある 1. 各観測点での誤差項の は0(E(ϵi) = 0)
2. 各観測点での誤差項の分散は観測点を問わず (Var(ϵi) = σ2) 3. 異なる誤差項同士は は0⇒ (Cov(ϵi, ϵj) = 0, i ̸= j)
4. 誤差項の母集団の分布は である(ϵi ∼ N(0, σ2)) 5. 説明変数は ではない(Cov(xi, ϵj) = 0, ∀i, j)
C. 誤差項の仮定は とよばれる3
1
従属変数とよぶこともある。
2
独立変数とよぶときがある。
3厳密には、「説明変数は確率変数ではない」は「説明変数と誤差項の相関は無相関」が正しい
が、今後の話とわかりやすさからこのような仮定にした。
Ver. 1.01 Masumi Kawade, 2008
計量経済学I 講義資料 7 – 回帰分析と推定法 2/ 3
D. 最初に設定された式 ( ) と推定する式 ( ) をハット (ˆ) で区別
理論式:yi = α + βxi+ ϵi (7.2) 推定式:yi = + ˆβxi+ ˆϵi (7.3)
7.3 推定方法という意味
A. 回帰分析は推定を行うが、推定方法が複数ある 1. モーメント法
2. 最尤法 3. 最小二乗法
B. 推定方法の違いは「∼のような性質を持つ結果を選ぶべき」という基準 1. 日常感覚では違和感を感じるが実際的には有益
2. ある程度のずれは不確実性を扱う世界では避けられない
C. 推定方法には一長一短があるが、古典的仮定の下ではどれも同じ結果 1. アンケートデータは最尤法などデータに合わせて選択が必要 2. 学部計量経済学では最小二乗法が中心
3. 最初なので 3 つの推定方法を紹介
7.4 モーメント法
A. モーメント法は誤差項の の特徴(積率:moment) に着目 1. E(ϵi) = 0
2. Cov(xi, ϵi) = 0 ⇒ E(xϵi) = 0
B. が でも満たされるべきと言う基準を用いる
E(ϵi) = 0 ⇒ (7.4)
E(xiϵi) = 0 ⇒ (7.5)
Ver. 1.01 Masumi Kawade, 2008
計量経済学I 講義資料 7 – 回帰分析と推定法 3/ 3
C. を代入すると、以下のような連立方程式になる
1 N
N
∑
i=1
(yi− ˆα− ˆβxi) = 0 ⇒
N
∑
i=1
yi = + ˆβ
N
∑
i=1
xi (7.6)
1 N
N
∑
i=1
xi(yi− ˆα− ˆβxi) = 0 ⇒ N
∑
i=1
xiyi = ˆα
N
∑
i=1
xi+ (7.7)
7.5 最尤法
A. 最尤法は誤差項の の特徴(確率) に着目する
ϵi ∼ N(0, σ2) (7.8)
B. は考えられる中で であると考える
f(ϵi) = √ 1 2πσ2e
−ϵ2i/2σ2 − ∞ < ϵ
i <∞ 各誤差項の確率 (7.9) L(ˆα, ˆβ) =
N
∏
i=1
√ 1
2πσ2exp [
−2σ12(yi− ˆα− ˆβxi)2 ]
全誤差項の確率 (7.10)
1. 全ての誤差項の起きる確率は「 」で結ばれる同時確率で考える 2. L(ˆα, ˆβ) を とよぶ
C. 尤度関数を して、確率が最大となる必要条件を求めると連立方程式
∂ln L(ˆα, ˆβ)
∂αˆ = 0 ⇒ 1 σ2
N
∑
i=1
(yi− ˆα− ˆβxi) = 0 (7.11)
∂ln L(ˆα, ˆβ)
∂ ˆβ = 0 ⇒ 1 σ2
N
∑
i=1
xi(yi− ˆα− ˆβxi) = 0 (7.12)
1. を用いている
2. 式を整理すればモーメント法と の連立方程式になる
Ver. 1.01 Masumi Kawade, 2008