大学院計量経済分析 Masumi Kawade Site 02saisho

全文

(1)計量経済分析特論. . 最小二乗法. ¾ 最小二乗法とその周辺学部の講義で学んだ最小二乗法は計量経済分析の中心になります。計量経済学では、最小二乗法を詳しく学び、応用としての各推定量を学ぶ流れをとります½。. ¾º½. 推定量. 最小二乗推定の基本的な仮定を確認したうえで、学部で行う仮定の範囲で、議論を進めます。まずは学部の復習を行列で行っているという意識で取り組んでいってください。. ¾º½º½. 推定されるモデル. 計量経済学で、推定されるモデルを. . . とおきます。このモデルは経済理論を背景に導かれたものです。また、経済理論は現実と正しく対応できているという仮定を置いています。なお、定数項についての疑問は、データ変数が常にというのがひとつあると考えればいいでしょう。. ¾º½º¾. モデルの古典的仮定. 学部で置かれた古典的仮定を行列表現の中で、再び述べます。. 線形モデルである線形性. 推定されるモデルはで示されていて、非線形の形状を持たない誤差項の期待値はである真の誤差項の期待値はである .

(2) 誤差項の分散は一定である真の誤差項の分散は一定である ¾ . 誤差項の共分散はである¾ 真の誤差項間の相関はない

(3) . 説明変数は非確率的である誤差項と説明変数は無相関真の誤差項は正規分布に従う ¾. ½ 統計学が最小二乗法を基本としているわけではありませんので、注意してください。 ¾ 先の仮定と合わせて、誤差項のモーメントについては一まとまりで、. ¾ と書くこ. とができます。.

(4). .

(5) 計量経済分析特論. . 最小二乗法. これらの仮定は非常にきつい仮定です。したがって大学院の講義ではこれらをさまざまな形で緩めてゆきます。緩めるととたんに難しくなることがありますが、じっくり追ってゆけば難しいことはありません。古典的仮定として、説明変数を確率変数化する方向性も意図しながら、誤差項にもう少し強い仮定を置くこともあります。対象となるのは. 誤差項の期待値はである. . 真の誤差項の期待値はである . 誤差項の分散は一定である. ¾ . 真の誤差項は正規分布に従う ¾. 真の誤差項の分散は一定である . . です。これを. 誤差項の期待値は、いかなる観測値にもよらずである真の誤差項の期待値はにかかわらずである . 誤差項の分散は、いかなる観測値にもよらず一定である真の誤差項の分散はにかかわらず一定である ¾ . 真の誤差項は、いかなる観測値にもよらず正規分布に従う ¾. に書き直します。これは先の仮定よりもつの意味で強い仮定になっていることに注意してください。代表して. 誤差項の期待値は、いかなる観測値にもよらずである真の誤差項の期待値はにかかわらずである . というのは ½ ½ . について述べます。まず、. . ½½. . . . . . ½. . . . . ¼. . . . . ¼. . . . ½. ½

(6) . . なので、. ¼. . .

(7). ¼. . . ½

(8). . . を意味します。この条件を吟味すると、 ¼. . ¼. .

(9). .

(10) 計量経済分析特論.

(11) . 最小二乗法. を要請していることになります。すなわち、いかなる観測値のいかなる結果にも誤差項は関係を持たずに期待値は必ずとなることを示しています。その意味で、. . ℄ . . . . よりも強い条件になります。ところで、強い条件ということですから、先の条件を包含している必要があります。それを確認してみましょう。元の条件を、. . ℄ ℄ . . と計算することで得ることができます。これは期待値の繰り返し法則を思い出してもらえば理解できます。. ¾º½º¿. 推定. 早速、推定量を導出してみましょう。推定量の導出は基準の設定とその導出作業にあります。最小二乗法は誤差項の変動を最小にするという基準の下で、推定することになります。実際の推定プロセスを見てゆきましょう。. 母数の推定. まず、点推定を行いましょう。最初に誤差項について解いて、. . . . を得ます。そこで、誤差の二乗の和を. ¼. . ¼. . ¼. . ¼. . ¼. . . ¼. ¼. . ¼. !. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. . ¼. ¼. . ¼. . ¼. という形で求めます。は定数であることに注意してください。つぎに、最小二乗法なので、二乗誤差を最小にするよう、 ¼. ¼. . ¼. .

(12). ¼. ½ ¼. ¼. . ¼. ¼. . . ¼. と計算します。なお、推定されたとデータ行列を用いて、 ½ を見ると推定された値を計算していることがわかります。このように、から ¼.

(13). . ¼. .

(14) 計量経済分析特論. . 最小二乗法. を求める行列として、 ½ びます。なお、射影行列は ¼. . ¼. を射影行列

(15)

(16) と呼. ½ ¼. . . ¼. という性質を持ち、データ行列を自分自身の行列に変換する性質も持っています。なお、射影行列としての意味は. ½ . ¼. . ¼. ½. . ¼. " ½ ¼. . ¼. . ¼. で示されるように、データの内積行列を固有値分解した際にできる直行行列があると見ることができ、. ½ " ½ ¼. . ¼. . ¼. ¼. " ½ ℄. . ¼. ¼. .

(17). !. はある行列とデータ行列の内積であり、とのデータ間の関係を示しています。は自身の内積行列の基底ベクトルを表現しており、でデータ行列との内積を基底で分解しています。その様な下準備をした上で、基底ベクトルの固有値である " ½ で基準化し " ½ 、で元の位相に再び戻し " ½ しています。別の見方をすれば、 ½ はを基準にしてを、変数である次元で表現しなおしているといえ、まさにのを基準にした内積の比だ読み取ることができるのです。さらに、 ½ とすることは、の基準で見た比でを引き延ばしていると考えられるのです。最小である旨の最適性を保証するには式の階微分が正値定号行列であることが条件になることを思い出してください¿。 ¼. ¼. ¼. ¼. . . ¼. ¼. ¼. . ¼. ¼. ¼. . ¼. ¼. ¼. ¼. . ¼. ¼.

(18). . ¼. ¼. データ行列の転置したものの積は正値定符号というのがありましたから、したがって、二乗誤差に関する階微分を行った行列ヘッセ行列が正定符号行列といえるため、最適性は保証されていることが確認できます。. 理論値の推定. 説明変数の行列を用いて、理論値を求めてみましょう。. . . ½ . ¼. . ½. ¼. . . ¼. ¼. .

(19). . ¿ 行列の基本を参照。.

(20). .

(21) 計量経済分析特論. . 最小二乗法. なお、上式で示したように ½ とすることがあります。これを射影行列 #$% &$' &( とよび、で表現します。なお、ハット行列 )& &(. と呼び、で表現することもあります。このよび方には、射影行列と被説明変数を掛け合わせることで、実績値を理論値理論値には慣習上ハットがつくに対応させる行列というような意味が含まれています。なお、この射影行列は ¼. ½ ½ ¼. . ¼. ½. ¼. . . ¼. . ¼. ¼. . . ¼. と、べき等行列であることが確認できます。また、. ½ . ¼. ¼. . ½. ¼. . ¼. ¼. . . ¼. であり、対称行列でもあります。なお、射影行列を利用すれば、残差ベクトルを得ることができます。. !.

(22) . を残差行列 *+ &( と呼びます。残差行列もべき等かつ対 . ¼. ½. . ¼. . 称行列です。なお、射影行列と残差行列はべき等行列だったことを思い出せば、. . . . . .

(23) .

(24) . ½. ¼.

(25)

(26). ½. ¼.

(27) . ¼. . ¼. . であることが簡単に確認できるでしょう。ところで、誤差項とデータ行列の関係として、. . ¼. ¼. ¼. ½. . . ¼.

(28) ¼.

(29) . . ¼. .

(30) . . ¼. .

(31) . が得られます。注意すべき点は、射影行列の意味です。最小二乗法は説明変数となるデータ行列の推定量による線形結合と被説明変数ベクトルの間の距離がもっとも小さなものを選ぶものです。このとき、最も小さくなるのは対象となる被説明変数ベクトルから説明変数ベクトルの線形結合和への垂線であり、そこから写像という概念が出ているのです。.

(32). .

(33) 計量経済分析特論. . 最小二乗法. 誤差項の分散の推定このことから、推定された誤差の二乗和、すなわち残差二乗和は. . . . . ¼.

(34) . ¼. ¼. . ¼. ¼. ¼. ¼. . ¼. ¼. ¼. . ¼. ¼. ¼. . ¼. .

(35) !. . . . ¼. ¼. . ということが確認できます。また、. . . .

(36). . . になります。このとき、であることに注意してください。 ¼. ¼. ¼. ¼. £. £. . ¼. ¼. ¼. ¼. ¼. ¼. £. ¼. . . ¼. ¼. . ¼. ¼. ¼. . ¼. £. £. £. ¼. . ¼. なお、同時に、誤差項の分散を求めてみましょう。 ¼. ¼. £. . ¼. . ¼. . £. を用いてみましょう。ところで、少しトリッキーですが、が値であることに注意して、の行列である値のトレースを考えると、 ¼. . . ということがわかります。それを応用して、 ¼. ¼. £. . . ¼. . ¼. . . . ¼. £. . ¼. !. . ¼. £. £. です。このとき、このままでは評価できないため期待値を取ると、確率変数だけに着目して、. ℄ ¼. . ¼. . ¼. ℄ ¼. £. . £. ℄. . .

(37)

(38)

(39) . . ¼. . ¼. ¼. . ¼. ¼. . . . £. . .

(40). ¼. ¼. . £. ¼. ¼. . . . ¼. . ¼. . ¢. . ¢. . また、残差行列の特性がわかれば、残差平方和は ¼ ¼. . ¼. . ¼ ¼ . ¼ ¼ . ¼. として表現できます。残差平方和ですから、定数になるところに注意してください。は正方行列ではないので、逆行列の話はできません。.

(41). .

(42) 計量経済分析特論. . 最小二乗法. が得られます。このことは残差二乗和は誤差項の分散の不偏推定量ではないことを意味します。したがって、不偏推定量 ¾ は. ¾ ¾ . . . . . . ¼. ¼. ½. . . . ¼. となります。. . 有限標本理論での望ましさガウスマルコフの定理. きわめて望ましい状態である古典的仮定の下では、有限標本というよくありえる場合に非常に有効な性質を持っています。それを確認しましょう。統計学で学んだ、不偏性、一致性、効率性が統計量にあることが望まれますが、最小二乗法は古典的仮定では不偏性、線形推定量の中で効率性を満たします。. ¾º¾º½. 不偏性. まず不偏性はとが独立であることを思い出して、 £. ½ . ¼. . !. ¼. ½ . . ½ . . ¼. . £. ¼. ¼. £. . £. ¼. £. ½ £. ¼. . ¼. £. . £. であり、. ½ ¼. . ½. . ¼. £. ½. ¼. . ½. ¼. . . ¼. . ½. ¼. £. ¼. ¼. . . ¼. . ¼. ¾ . ¼. £. £. ½. ¼. £. ½. . ¼. ¼. . £. ¼.

(43). . . . . となります。なお、説明変数は非確率的であり、誤差項は正規分布に従うことから、. . ¾ . £. ¼. . ½. . となります。なお、別の表記としては、説明変数が確率変数であることを視野に入れて、. ¾ . . £. ¼. ½. . . . のように書くこともあります。として、条件付で書いたのは非確率変数であるため、ある確定的な状態のもとで推定していることを示します。当然、被説.

(44). .

(45) 計量経済分析特論. . 最小二乗法. 明変数に攪乱要因が入っています。また、それぞれの係数の分布は. . . £. ¼. . . . !. . です。はカッコ内の行列の行列の対角要素であることを示しています。. ¾º¾º¾. 一致性. 学部の計量では単回帰で、説明変数がある標本以降はすべて , になる特殊な場合でなければ、. . , . . . . . . がいえるので、. . . . . , . . . . . がいえます。なお、ある標本以降、平均 , に常に等しい説明変数を与えることはほとんどありえないことでしょうから考えないとすれば、十分標本を増やせば分散は限りなくに近づきます。これを行列表記ですると簡潔な表現ができません。では、本当にその様な事がいえるのかという事については大標本下の最小二乗法で学ぶ事になります。. ¾º¾º¿. 効率性. 線形推定量の中で効率性を検討します。まず、最小二乗推定量は. ¼. . . ¼. です。これに代わって、新しい推定量を. -

(46).

(47). という推定量を考えます。なお、

(48) は . です。そこで、不偏性の条件から、. -

(49)

(50) ℄

(51) £. £. £. . £.

(52) . . 有限標本下で、説明変数を確率変数として議論する場合には、

(53)

(54) . . 評価することになります次章の多重共線性で、 ¼ ¼ 能です。.

(55). . . ¾ . . のように表現して. と得ている事から類推は可. .

(56) 計量経済分析特論. ! . 最小二乗法. が条件となります。ところで、この行列を

(57) で表現してみましょう。意味としては推定量が最小二乗推定量と他の関数の和になっているということです。任意の行列で表現することで、一般的な推定量になります。この分散は ¼. . ¼. -

(58) ℄ ¼. . . ¼. ℄. . ℄. . ℄. !. £. £. £. ¼. £. ¼. . ¼. . ¼. ¼. . £. ¼. £. £. ℄ ℄. . . . ¼. £. . ¼. . ¼. . £. ¼. ¼. ¼. . . ¼. ¼. £ ¼. ¼. . £. ¼. . . ¼. ¼. ¼. . £. ¼. ¼. . ¼. . . ¼. ¼. . . ¼. .

(59). で、がであることに注意すると、

(60) . になります。データ行列が ¼. . ¼. ゆえに、. - . £. ¼. . £. ¼. £. ¼. . となります。このとき、- の要素の分散や任意の線形結合による分散を計算するため、制約を用いた表現 - を考えて見ましょう。そのときの分散は ¼. ¼. - ¼. ¼. £. ¼. . ¼. . となります。このとき、ということがわかりますから、は非負定号行列だということがわかります。このとき、 ¼. ¼. ¼. ¼. ¼. ¼. £. ¼. ¼. ¼. . ¼. . なので、最小分散を与える行列として、がいえることがわかります。したがって、最小二乗法は不偏かつ効率的な線形推定量、最小分散線形不偏推定量と呼びます。また、これを示した定理をガウス＝マルコフの定理とよびます。. が非確率変数、. が確率変数とするとに注意。説明変数が確率変数である場合にも、少し強めではあるもののそれ自身には特に強い意味を持たない仮定、すなわち、確率変数だから当然だが任意の観測値において、

(61) をおくことで、同様の議論が可能になります。「少し強めではあるもののそれ自身には特に強い意味を持たない」という意味は本来誤差項というのはどのような状況であれ、ショックであるため、平均すればとなることが要請されるということです。そうでなければ、それに応じたモデル変数を考える必要があるでしょう。.

(62). .

(63) 計量経済分析特論. ¾º¿. . 最小二乗法. 仮説検定. 推定を行えば、次は仮説検定を行うのが統計的手続きです。. 検定. ¾º¿º½. . . 学部とは異なり若干一般化した検定を行ってみましょう。まず、 £. £. £. £. ¼. £. . . . を考えます。これには当然、一つの係数以外はすべてというのを含みます。また、係数の何らかの線形結合も含みますから一般的です。これが推定された値を同様の線形結合に示したを利用して検定することを考えます。当然、検定には変数を線形結合したときの検定すべき値を標準化し標準正規分布として仮説検定するか、真の標準偏差を相殺する意図で、分散を求めて検定を行わなければいけません。この分散が既知であることはありえませんから、. ¼. . . ℄ ℄. ℄ ℄ から、を不偏推定量に置き換えて、 ¼. ¼. ¼. ¼. £. ¼. ¼. ¼. ¼. ¼. ¼. £. ¼. ¼. £. £. £. ¼. ¼. £ ¼. . ¼. . ¼. !. !. !. !. !

(64). とします。こうすることで、. . . ¼. ¼. . !. となります。. 区間推定. 信頼区間を求めたい場合には、. . . ¼. ¼. . !. について信頼係数を定め、これを満たす領域を計算すればいいことになります。. 検定を用いて検定していたものです。実は検定の本来の姿を用いれば、こちらで検定できるのです。

(65) 学部では.

(66). .

(67) 計量経済分析特論. . 最小二乗法. ! 検定. ¾º¿º¾. では、いくつかの条件を同時に満たすかどうかを検定することを考えて見ましょう。検定の拡張になります。. . . . £. £. . . . . £. . £. £. £. ¼. £. £. £. £. ¼. £. . . £. £. £. ¼. £. . !. !. . !. です。行列で簡単に書けば、. . Ê !!. であり、Ê はです。検定とは違って、問題は各変数の情報は行列ででて £. きます。まずは分散を見てみましょう。. Ê Ê Ê Ê Ê. Ê Ê Ê Ê Ê Ê Ê . £. £. £. ¼. ¼. £. ¼. . ¼. . ¼. . ¼. . ¼. ¼. . Ê.

(68). ¼. ". これで手詰まりですので、別のことを考えて見ます。を帰無仮説が真と仮定した場合の乖離 Ê . として、考えて見ましょう。このベクトルについて、ワルド原理と呼ばれる原理を適用してみましょう。まず、ワルド原理とは. ". . # " " ℄ " $%. ¼. . . です。これは正規分布に従うある確率変数を標準化して、二乗和をとる事でカイ二乗分布になるという性質を述べたものです。これを応用すればよいのですが、 Ê . が気になりますので、それを見てみましょう。なお、が定数であることに注意すれば、. ". . Ê Ê Ê Ê. . であることがすぐわかります。ただし、$ % 分布には真の分散という未知変数があるので、それを消す意図で、! 検定に持ち込みます。! 分布に用いる分母は誤. 差項の分散を利用します。そのため、標準化した残差平方和を用いることにします。標準化した残差平方和は. . . ¼.

(69). ¼. . .

(70) 計量経済分析特論. . 最小二乗法. だから、. Ê Ê ℄ Ê & ! ℄ & & . Ê Ê Ê ℄ Ê . ! Ê. ¾. ¼. ½. ¼. . ½. ¼ . ¾. ¼. ¼. ¼. ½. ¼. . ½. ¼ . . . . を利用すればよいことになります。. 同時区間推定. ! . をに置き換えた、 Ê ℄ . !. 同時信頼区間を求めたい場合には、Ê. Ê . ¼. ¼. ¼. ½. . ½. ¼ . について信頼係数を定め、これを満たす領域を計算すればよいことになります。構造変化の検定学部の計量経済学でも学んだように、! 検定は誤差項を利用した検定であるため、推定期間をつに分けた際の残差平方和の和と変化がないとした残差平方和の違いを評価することで、/0$ 検定を行うことができます。. . 説明力に関する情報. 決定係数 ¾ はどう表せるでしょう。まず、平均からの差の平方和を計算する対称べき等行列. .

(71) . . ¼. を利用しましょう。決定係数は定義から、. ¾ . .

(72)

(73) .

(74)

(75) .

(76)

(77) .

(78)

(79) ¼. ¼. ¼. ¼. . ¼. ¼. ¼. .

(80). です。ところで、 ¼.

(81)

(82) .

(83) .

(84). ¼. ¼. . ¼.

(85).

(86)

(87)

(88)

(89) .

(90)

(91)

(92)

(93)

(94)

(95)

(96)

(97)

(98)

(99)

(100)

(101) ¼.

(102). ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. . . . .

(103) 計量経済分析特論.

(104) . 最小二乗法. がえられます。ここで、であることを考えると、 ¼. ¼.

(105)

(106)

(107)

(108)

(109)

(110)

(111) ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. ¼. . ¼. ¼. !. ¼. . ¼. となる。特に、定数項があれば

(112) であり、 ¼.

(113)

(114)

(115)

(116) ¼. ¼. ¼. . ¼. ¼. ¼. . ので、これを決定係数に代入すると、.

(117)

(118)

(119)

(120). ¾ . ¼. ¼. ¼.

(121). が得られます。このときとして対数をとると、 +' +' +' . ¼. ¼. ¼. ¼. ¼. .

(122). ¾. ¾. ¼. ¼. .

(123). ,¾ はが得られます。また、説明変数の増加に対応した修正決定係数 +'. +' . +' +' +' . +' . +' +' +' +' が十分大きい場合. . +' . ,¾. ¼. ¼.

(124). ¼. ¼.

(125) ¼. ¼. ¼. ¼.

(126).

(127). . . . !. で表すことができます。これ以外に、モデル選択の議論ですが、赤池情報量基準 12/. 133 2'4$&$' /&$' という基準があります。定式化は. '

(128) +'. ¼. . . +' . ¼. +' .

(129) . です。また、12/ を修正した 562/562/. 5 078 69' 2'4$&$' /&$'. は. +' .

(130) . +' +'

(131) . +'

(132)

(133). +' +' で示すことができます。こちらの議論は後ほど可能な場合に行うことにします。 ()

(134) '

(135) ¼. ¼.

(136). .

(137) 計量経済分析特論. . . 最小二乗法. 関連内容の補足期待値の繰り返し法則について. 期待値の繰り返し演算は. . ℄ ℄. 1 . となるものです。なお、明示的に. . ℄ ℄. . 1 . と書くこともあります。この意味を確認してみましょう。まず、期待値の公式から. * ℄ * ℄ . * . 1

(138). * + . 1 . とかけます。これを、ある別の要因確率変数も考慮した期待値で書き直すことを考えましょう。すると、. * ℄ . . * . . * ℄ . . * . . . . * + . * . + . . 1 . 1 . . となります。ところで、密度関数については望ましい性質を持っている½½と仮定すれば、. . . * . . . . . . . . . * . . . 1 . * . . . . . * . ℄ * . ℄. * . + . . . . * . + . . . 1 . 1 !. 1 . . * . + + . 1 . * . ℄ * . ℄. 1 . . . が得られます。望ましい性質は通常満たされていますから、特殊な場合以外はこだわる必要はないでしょう。気になる人は解析学に関する書籍にあたってください。 ½½ 積分の順序交換に関する条件に注意してください。.

(139). .

(140)

大学院 計量経済分析 Masumi Kawade Site 02saisho

大学院計量経済分析 Masumi Kawade Site 02saisho