files HANADA, Shinichi HomePage

第 ₂ 回

多変数回帰

本日 内容

• ^{多変数回帰}

• ^{回帰係数 推定}

• ^決定係数

– ^{残差 2 和 総変動 分解}

– ^{自由度修正済 決定係数}

• ^{最 2 法 性質}

• ^残差分散

– ^{残差分散 利用 異常値}

多変数回帰

• ^{前期 単回帰 、 1 被 明変数 対 1 明変}

数

– ^{被 明変数 影響 及 要素 1 け いう} い

– ^{回帰分析 結果 予測 利用 場合 、複数 要因} 同時 動い 場合、 う 結果 知 いこ あ

• ^{労働投入 資本投入 同時 変化さ 、 生産}

く い 知 い

• ^{利子率 や タ 変化 、 GDP う}

変化 知 い

• 1 ^{被 明変数 複数 明変数 回帰 分析 多}

変数回帰 いう

– ^{基本的 考え方 単回帰 同}

多変数回帰

• 1 ^{被 明変数} _� ^{個 明変数 回帰}

式 考え

�

^{= +}

^{+ ⋯ +}

^{+ �}

, � = , ⋯ ,

– ^誤差項 _�

^{母 均} _{� �}

₌ ^、母分散 _{� �}

_{= �}

、互い 独立 分布 仮定

– ^{観測個数 、各変数 添え 左 変数}

番号、右 観測値 番号

• ^{変数 数} _� ^観測数

^さい

– ≤ � ^{場合、最 2 法 使え い}

– ^{単回帰 観測数 1 考え} …

�^番目

明変数 ^�

さ 値

多変数回帰

明変数 数 _� ＝₁ タ 数 ＝₁

直線 引け

→1 ^{決 い}

多変数回帰

• ^{多変数回帰 あ 明変数} _� ^係数 _� ^、

条件 一定 、 明変

数 値 ₁ 単位変化 、被 明変数

変化 大 さ 表

– ^{明変数 値 変化 い}

– 1 ^{変数 変化 効果 知 こ}

回帰係数 推定

• ^{最 2 法 基本 単回帰 同}

– ^{残差 2 和} _Φ ^{最 う 係数 定}

Φ =

�=

�

^{− +}

^{+ ⋯ +}

– ^{出 、一階 条件 用い 経済数学 講義等}

参照

• ^{残差2 和} _Φ ^{最 う} _� ^{番目 明変数 係} 数 _{� →} 微分 ₀ 一階 条件

• ^目的関数 _{Φ , ⋯ , �} ^{微分 、} _{� +} ^{本 式} 出 正規方程式 いう

• ^{未知 変数 数} _� ^{個 係数 定数項} _{� +} ^個、方程 式 数 _{� +} 本 、連立方程式 解け

回帰係数 推定

• ^{実際 正規方程式 出 、}

�Φ

� ⁼

^{− +}

^{+ ⋯ +}

^{= ,}

= , ⋯ , �

�Φ

� =

^{− +}

^{+ ⋯ +}

⁼

– ^{こ 手計算 行う 困}

• ^{観測数 け足 算 必要 あ}

• ^{、被 明変数 数+1回計算 必要 あ}

• ^{さ 連立方程式 解く必要 あ}

– ^{通常、表計算ソフ や統計ソフ 利用 計算}

合成関数 微分

� �

� ^{= � �′}

残差 ₂ 和 総変動 分解

• ^{多変数回帰 当 良さ う 評価}

？

– ^{単回帰 場合 、決定係数 利用 、回帰式 当}

良さ 評価

– ^{多変数回帰 い 、同様 考え方 決定係数 計}

算 、当 良さ 評価 こ

• ^{決定係数 、被 明変数 ば う 、 程度}

明変数 明 示

– ^{総変動 残差変動 回帰変動 分解 、比率 表}

– ^{多変数回帰 同様 計算 決定係数 求 こ}

残差 ₂ 和 総変動 分解

• ^{最 2 推定 求 ば、回帰値} _� ^回

帰残差 _{� �} 計算

� ^{= +} � ^{+ ⋯ +} � ��

� _� = _� − _�

– ^{正規方程式 、} _�

^{全 明変数 直交}

誤差項 明変数 無相関

– ^{最 2 推定 ば、残差 2 和 RSS 計}

算 _Φ 式 代入 _→RSS 明変数

明 い いば 表

残差 ₂ 和 総変動 分解

• ^{総変動 TSS 、 被 明変数 ば}

=

�=

� ⁻

• ^{決定係数 単回帰 同様}

= −

• ^{あ い 、回帰変動 明変数 明さ ば :ESS} 使 計算

� =

�=

� ⁻

= ^�

自由度修正済 決定係数

• ^{明変数 増加 RSS 減少 、 明変数}

多く ば 決定係数 高く

– RSS ^{、被 明変数 明変数 明さ 部分 引 算} 求

– ^{弱い 明変数 、係数 0 け ば、多少 被} 明変数 明 、残差 さく

• ^{明変数 異 当 良さ 決定係数}

用い 議論 、こ 部分 修正 や 必要

あ

– ^{明変数 数 同 あ ば、使う 明変数 異 こ} 問題 発生 い

– ^{明変数 数 明変数 異 場合、決定係数 け 利用}

、 良い 明変数 使 い 決定係数 高い

、単 明変数 数 増や 決定係数 高い ？

自由度修正済 決定係数

• ^{多変数回帰 い 、自由度修正済 決定係数}

用い 一般的 あ

• = −

– ^{分母 同}�−1^{標本 利用 い ば、 う あ}

変わ い

– ^{分子 、 明変数 増や RSS} _{− � −}

、大 く さく わ い

– ^{、 明変数 増や 増え 限 い}

• ^{良い 明変数 加え 場合、RSS 大 く減 、分子 さく}

• ^{あ く い 明変数 加え RSS 減 、} _{− � −} ^増え

、分子 大 く 、

自由度修正済 決定係数

• ^{明変数 追加 こ 均}

的 増え 当 良さ _{− � −} 、

変数 実際 持 当 良さ

貢献 _RSS 比較 い

– ^{均 貢献 いい場合、 RSS 効果}

大 い 、良い 明変数 考え 自由度修正

済 決定係数

– ^{均 貢献 悪い場合、 RSS 効果}

さい 、あ 意味 い 明変数 考え

自由度修正済 決定係数

自由度修正済 決定係数

• ^{、自由度修正済 決定係数 注意点}

あ

– ^{あく 明変数 数 影響 調整 間}

比較 指標 あ 、 自体 当

良さ 決定係数 表さ

– ^{決定係数 異 、負 場合 あ}

– ^{経験則 利用 便利さ 出さ 、絶対}

的 論理 背後 あ わけ い 間比較

い 様々 指標 在

– ^{決定係数 計算 可能}

= − _{− � −} ^� −

最 ₂ 法 性質

• ^{前期 示 最 2 法 性質 、多変数回帰 い}

成立

1. ^残差和 0

2. ^{残差 明変数 直交}

3. ^{観測値 和 、回帰値 和 等 い}

4. ^{観測値 均 、回帰値 均 等 い} 5. ^{残差 回帰値 、直交}

6. ^{標本 均 回帰直線 位置}

7. ^{観測値 回帰値 積和 、回帰値 方和 等 い} 8. ^{決定係数 、回帰値 観測値 相関係数} 2 ^{等 い} – ^{、相関係数 回帰係数 計算 単回帰}

性質

残差分散

• ^{誤差 分散} _� ^{残差 分散 推定さ}

– ^{、こ 残差} _{� +} ^{個 制約 満 必}

要 あ

– ^{、誤差分散} _�

� = _{− � −}

^�

– − � − ^いう

残差分散 利用 異常値

• ^{何 原因 、通常考え 値 大 く外}

観測値 異常値 値 いう

– ^{例 2011 4 花見客 数 比 非常}

少 い

– ^{異常値 考え 原因 あ 分}

い ば タ 除けば い 、通常、原因 、

何 異常値 わ いこ 多い

– ^{識 、残差分散 利用 場合 あ}

• ^{タ 95％ 2標準偏差以内 あ}

• 2^{標準偏差 大 残差 ＝ タ 異常値} あ こ 疑わ

け 参考文献

• ^{いうわけ い 参考}

• Becker, G.“., 1 6 Cri e a d Pu ish e t: A

Eco o ic Approach , Journal of Political Economy, 76,

pp.169-217

– ^{経済学賞 受賞 Becker 、人々 犯罪}

従事 効用理論 基 い 明 解 論文

– ^{人々 犯罪 従事 確率 被 明変数 、 犯罪}

得 時給 、 合法的 事 時給 、 以外

収入 、 検挙率 、 罪確率 、 罪時 ナ

期待値 、 齢 明変数 分析

– ^{、再犯確率 い 簡単 分析 い}

– ^{非線形回帰 、 組 立 方 参考}

い

け：計 経済学 行列

• ^{計 経済学や統計学 教科書 多く 、行列 使 書 い}

– ^{森棟先生 計 経済学 教科書 教科書指定 い 理由 一 、行列} 表現 使わ い い

– ^{実際 、行列表現 使わ い教科書 少数派}

• ^{本質的 議論 、計 経済学 行列 知識 必要 い}

– ^{、森棟先生 教科書や、Wooldridge 入門 教科書 う 、行列} 表現 使わ い教科書 在 い

• ^{、行列表現 使 う 表記 簡略化可能 あ 点や、行列} 計算 性質 使うこ 、多く 教科書 行列表現 使

い

– ^推定式 = + + + ⋯ + _{� �} ^{、行列表現 用い ば} = ′� 簡単 書け、こ 書 方 _� いく 増え 同 書 方 済

– ^{正規方程式 、逆行列 用い 連立方程式 解 方 表記 用い ば、}

− ^′ + ^′ � = ⇒ ^′ � = ^′ ⇒ � = ^{′ − ′ 計算 こ 解} け

– ^{、今後出 く 多 共線性 問題 、分散 共分散行列 用い こ} 計算 、簡単 問題 指摘 こ

け：計 経済学 行列

• ^{、本講義 行列表現 使わ 講義 行う} – ^{行列 理解 い 受講生 間 ば あ} – ^{経済学 分 行列 知識 必要 こ 学部}

く、統計学や計 経済学 け 習得 コ 高い

– ^{計 経済学 概念 理解 こ 、 タ 扱う 要 あ} – ^{前述 行列 用い 利点 本質的 く、行列 理解}

い く 概念 理解 こ 可能

– ^{逆 いう 、行列 計算 追い け 場合、計算} 本質的 理解 い い可能性 あ

• ^{多 共線性 問題 、分散 共分散行列 問題 示 ば、計算 真} 係数 計算さ 係数 こ 示

• ^{、 起 、 いう点 対 計算}

明 い 本質的 理解 足 い 私 考え

– ^{加え 、正規方程式 解 方 示 、人間 手 計算} 逆行列 い い₄×₄ 、₃変数 計算 限界

け：計 経済学 行列

• ^{いえ、行列表現 習得 こ 計 経済学 深い理解や実} 際 計算 際 役立 、 越 こ い

– ^{多く 教科書 行列表現 用い い 、 教科書} あ 程度 行列 知識 必要

– ^{行列 用い 連立方程式 解く手法 、プ ン 際 要} 手法 あ 、理解 い こ 発展的 計 手法 あ 程度容易 計算 う

– ^{直交条件 本質的 意味 誤差項 明変数、誤差項 被 明} 変数 相関 い い 、 け 足 いく 誤差項

均 ₀ 合計 ₀ いうこ 、図形的 明変数空 間 被 明変数 射像 いう意味 あ 、

最 真 落 、 誤差項

明変数空間 直角 交わ 直交 いうこ あ 、こ 線形 代数 概念

– ^{行列や 知識 い 後半 何 言 い わ い}

、知識 あ ば、後半 明 方

確認 ヒン

• ^{係数 負 、 明変数} ↑ ^{被 明変数} ↓

– ^{高校 成績 良い 大学 成績 良い？悪い？}

– ^{高校 成績 良い 、 hsperc 大 い？ さい？}

• ^{変数 数値 大 さ 差 測 ？}

使 差 測 ？

• 自由度修正済決定係数：

= − _{− � −} ^� −