エコノメトリックス II (2011 年度後期講義ノート )

(1)

エコノメトリックス II (2011 _{年度後期講義ノート} )

平成

23

年

9

月

29

日

(木)

版

谷﨑久志

大阪大学大学院経済学研究科

1

最小二乗法（２変数）について

1

1.1

最小二乗法と回帰直線

. . . . 1

1.2

切片

α

と傾き

β

の推定

. . . . 1

1.3

残差

u b

i の性質について

. . . . 2

1.4

決定係数

R

²について

. . . . 3

1.5

まとめ

. . . . 4

2

重回帰の行列表示

4 3

行列について

6 3.1

行列の微分

. . . . 6

3.2

分布関数

. . . . 6

4

多重回帰：再考

6 5

制約付き最小自乗法

13 6 F

分布

(制約付き最小自乗法と制約なし最小自乗

法との関係

) 15 7

例：

F

分布

(制約付き最小自乗法と制約なし最小

自乗法との関係

) 16 8

一般化最小自乗法

(GLS) 18 8.1

例：混合推定

(Theil and Goldberger Model) 20 9

最尤法

(MLE) 20 9.1

回帰モデルの最尤法：

2

変数の場合

. . . . 22

9.2

回帰モデルの最尤法：多変数の場合

I . . . 23

9.3

回帰モデルの最尤法：多変数の場合

II . . 23

9.4 AR(1)

モデルの最尤法

. . . . 24

9.5

回帰モデルの最尤法：一階の自己相関のケース

25 9.6

回帰モデルの最尤法：不均一分散のケース

26 10

漸近理論

26 11

最小自乗推定値の一致性と漸近的正規性

28 12

操作変数法

30 12.1

測定誤差

. . . . 30

12.2

操作変数法

. . . . 31

12.3 2

段階最小二乗法

. . . . 32

(2)

13

大標本検定

33 13.1 Wald, LM, LR

テスト

. . . . 33

13.2

尤度比検定の使用例

. . . . 34

14

不均一分散

38 15

自己相関

39 16

特定化誤差

43 17

多重共線性

44 18

時系列分析

45 18.1

時系列分析の準備

. . . . 45

18.2 AR

モデル

. . . . 46

18.3 MA

モデル

. . . . 51

18.4 ARMA

モデル

. . . . 53

18.5 ARIMA

モデル

. . . . 54

18.6 SARIMA

モデル

. . . . 54

18.7

最適予測

. . . . 54

18.8

識別

(同定, Identification)

・推定問題

. . 55

18.9

周波数領域

. . . . 61

18.10ARCH

モデル

. . . . 61

19

単位根，共和分

62 19.1

単位根

(Unit Root) . . . . 62

19.2

共和分

(Cointegration) . . . . 69 20 GMM (Generalized Mothod of Moments) 70

21

その他のトピック

72

•

この講義ノートは，

http://www2.econ.osaka-u.ac.jp/~tanizaki/class/2011

からダウンロード可。

(3)

1 最小二乗法（２変数）について

経済理論に基づいた線型モデルの係数の値をデータから求める時に用いられる手法

= ⇒

最小二乗法

1.1

最小二乗法と回帰直線

(X

1

, Y

1

), (X

2

, Y

2

), · · · , (X

n

, Y

n

)

のように

n

組のデータがあり，Xi と

Y

i との間に以下の線型関係を想定する。

Y

i

= α + βX

i

,

X

iは説明変数，Yi は被説明変数，α,

β

はパラメータとそれぞれ呼ばれる。

上の式は回帰モデル

(または，回帰式)

と呼ばれる。目的は，切片

α

と傾き

β

をデータ

{ (X

_i

, Y

_i

), i = 1, 2, · · · , n }

から推定すること，

データについて：

1.

タイム・シリーズ

(時系列)・データ： i

が時間を表す

(第 i

期)。

2.

クロス・セクション

(横断面)・データ： i

が個人や企業を表す

(第 i

番目の家計，第

i

番目の企業)。

1.2

切片

α

と傾き

β

の推定

次のような関数

S(α, β)

を定義する。

S(α, β) =

∑

n i=1

u

²_i

=

∑

n i=1

(Y

_i

− α − βX

_i

)

² このとき，

min

α,β

S(α, β)

となるような

α, β

を求める

(最小自乗法)。このときの解

を

α, b β b

とする。

最小化のためには，

∂S(α, β)

∂α = 0

∂S(α, β)

∂β = 0

を満たす

α, β

が

α, b β b

となる。

すなわち，b

α, β b

は，

∑

n i=1

(Y

_i

− α b − βX b

_i

) = 0, (1)

∑

n i=1

X

i

(Y

i

− α b − βX b

i

) = 0, (2)

を満たす。

さらに，

∑

n i=1

Y

_i

= n α b + β b

∑

n i=1

X

_i

, (3)

∑

n i=1

X

_i

Y

_i

= α b

∑

n i=1

X

_i

+ β b

∑

n i=1

X

_i²

,

行列表示によって，

( ∑

n i=1

Y

i

∑

n i=1

X

i

Y

i

)

=

( n ∑

n i=1

X

i

∑

n i=1

X

i

∑

n i=1

X

_i²

) ( α b β b

) ,

逆行列の公式：

( a b c d

)

₋1

= 1

ad − bc

( d − b

− c a )

b

α, β b

について，まとめて，

( α b β b

)

=

( n ∑

n i=1

X

i

∑

n

i=1

X

_i

∑

n i=1

X

_i²

)

₋1

( ∑

n i=1

Y

i

∑

n i=1

X

_i

Y

_i

)

= 1

n ∑

n

i=1

X

_i²

− ( ∑

n i=1

X

_i

)

²

× ( ∑

n

i=1

X

_i²

− ∑

n i=1

X

i

− ∑

n

i=1

X

_i

n

) ( ∑

n i=1

Y

i

∑

n i=1

X

_i

Y

_i

)

さらに，

β b

について解くと，

β b = n ∑

n

i=1

X

i

Y

i

− ( ∑

n

i=1

X

i

)( ∑

n i=1

Y

i

) n ∑

n

i=1

X

_i²

− ( ∑

n i=1

X

i

)

²

=

∑

n

i=1

X

_i

Y

_i

− nXY

∑

n

i=1

X

_i²

− nX

²

=

∑

n

i=1

(X

i

− X )(Y

i

− Y )

∑

n

i=1

(X

i

− X)

² 連立方程式の

(3)

式から，

b

α = Y − βX b

となる。ただし，

X = 1 n

∑

n i=1

X

_i

, Y = 1 n

∑

n i=1

Y

_i

,

とする。

(4)

数値例：以下の数値例を使って，回帰式

Y

_i

= α + βX

_i の

α，β

の推定値

α， b β b

を求める。

i Y

_i

X

_i

1 6 10

2 9 12

3 10 14 4 10 16 b

α， β b

を求めるための公式は

β b =

∑

n

i=1

X

_i

Y

_i

− nXY

∑

n

i=1

X

_i²

− nX

²

b

α = Y − βX b

なので，必要なものは

X，Y

，

∑

n i=1

X

_i²，

∑

n i=1

X

i

Y

i である。

i Y

i

X

i

X

i

Y

i

X

_i²

1 6 10 60 100

2 9 12 108 144

3 10 14 140 196

4 10 16 160 256

合計

∑ Y

i

∑ X

i

∑ X

i

Y

i

∑ X

_i²

35 52 468 696

平均

Y X

8.75 13

よって，

β b = 468 − 4 × 13 × 8.75 696 − 4 × 13

²

= 13

20 = 0.65 b

α = 8.75 − 0.65 × 13 = 0.3

となる。

注意事項：

1. α, β

は真の値で未知

2. α, b β b

は

α, β

の推定値でデータから計算される回帰直線は

Y b

i

= α b + βX b

i

,

として与えられる。

上の数値例では，

Y b

_i

= 0.3 + 0.65X

_i となる。

i Y

i

X

i

X

i

Y

i

X

_i²

Y b

i

1 6 10 60 100 6.8

2 9 12 108 144 8.1

3 10 14 140 196 9.4

4 10 16 160 256 10.7

合計

∑

Y

_i

∑

X

_i

∑

X

_i

Y

_i

∑

X

_i²

∑ b Y

_i

35 52 468 696 35.0

平均

Y X

8.75 13

図

2： Y

_i，Xi，

Y b

_i

0 5 10

Yi

0 5 10 15 20

Xi

×

× ×

b

Yi→

Y b

i を実績値

Y

i の予測値または理論値と呼ぶ。

b

u

i

= Y

i

− Y b

i

, b

u

_i を残差と呼ぶ。

Y

_i

= Y b

_i

+ u b

_i

= α b + βX b

_i

+ u b

_i

,

さらに，Y を両辺から引いて，

(Y

_i

− Y ) = ( Y b

_i

− Y ) + b u

_i

,

1.3

残差

u ^b

_i の性質について

b

u

i

= Y

i

− α b − βX b

i に注意して，(1)式から，

∑

n i=1

b u

_i

= 0,

を得る。

(2)

式から，

∑

n i=1

X

i

b u

i

= 0,

(5)

を得る。

Y b

i

= α b + βX b

i から，

∑

n i=1

Y b

_i

u b

_i

= 0,

を得る。なぜなら，

∑

n i=1

Y b

i

u b

i

=

∑

n i=1

( α b + βX b

i

) u b

i

= α b

∑

n i=1

b u

i

+ β b

∑

n i=1

X

i

u b

i

= 0

である。

i Y

i

X

i

Y b

i

^u b

i

X

i

^u b

i

Y b

i

b ^u

i

1 6 10 6.8 − 0.8 − 8.0 − 5.44

2 9 12 8.1 0.9 10.8 7.29

3 10 14 9.4 0.6 8.4 5.64

4 10 16 10.7 − 0.7 − 11.2 − 7.49

合計

∑ Y

i

∑ X

i

∑ b Y

i

∑ ^u b

ⁱ

∑

X

i

^u b

ⁱ

∑ b Y

i

b ^u

ⁱ

35 52 35.0 0.0 0.0 0.00

1.4

決定係数

R

² について

次の式

(Y

_i

− Y ) = ( Y b

_i

− Y ) + b u

_i

,

の両辺を二乗して，総和すると，

∑

n i=1

(Y

i

− Y )

²

=

∑

n i=1

(

( Y b

i

− Y ) + u b

i

)

2

=

∑

n i=1

( Y b

i

− Y )

²

+ 2

∑

n i=1

( Y b

i

− Y ) u b

i

+

∑

n i=1

b u

²_i

=

∑

n i=1

(b Y

_i

− Y )

²

+

∑

n i=1

b u

²_i となる。まとめると，

∑

n i=1

(Y

i

− Y )

²

=

∑

n i=1

( Y b

i

− Y )

²

+

∑

n i=1

b u

²_i を得る。さらに，

1 =

∑

n

i=1

( Y b

_i

− Y )

²

∑

n

i=1

(Y

_i

− Y )

²

+

∑

n i=1

b u

²_i

∑

n

i=1

(Y

_i

− Y )

² それぞれの項は，

1. ∑

n i=1

(Y

_i

− Y )

²

= ⇒ y

の全変動

2. ∑

n i=1

( Y b

i

− Y )

²

= ⇒ Y b

i

(回帰直線)

で説明される部分

3. ∑

n i=1

b

u

²_i

= ⇒ Y b

i

(回帰直線)

で説明されない部分となる。

回帰式の当てはまりの良さを示す指標として，決定係数

R

² を以下の通りに定義する。

R

²

=

∑

n

i=1

( Y b

i

− Y )

²

∑

n

i=1

(Y

i

− Y )

² または，

R

²

= 1 −

∑

n i=1

b u

²_i

∑

n

i=1

(Y

_i

− Y )

²

,

として書き換えられる。

または，Yi

= Y b

i

+ u b

i と

∑

n i=1

( Y b

i

− Y )

²

=

∑

n i=1

( Y b

i

− Y )(Y

i

− Y − u b

i

)

=

∑

n i=1

( Y b

_i

− Y )(Y

_i

− Y ) −

∑

n i=1

( Y b

_i

− Y ) b u

_i

=

∑

n i=1

( Y b

_i

− Y )(Y

_i

− Y )

を用いて，

R

²

=

∑

n

i=1

( Y b

i

− Y )

²

∑

n

i=1

(Y

i

− Y )

²

=

(∑

n

i=1

(b Y

_i

− Y )

²

)

2

∑

n

i=1

(Y

i

− Y )

²

∑

n

i=1

( Y b

i

− Y )

²

=



 ∑

n

i=1

( Y b

i

− Y )(Y

i

− Y )

√∑

n

i=1

(Y

i

− Y )

²

∑

n

i=1

( Y b

i

− Y )

²





2

と書き換えられる。すなわち，R²は

Y

_i と

Y b

_i の相関係数の二乗と解釈される。

∑

n i=1

(Y

i

− Y )

²

=

∑

n i=1

( Y b

i

− Y )

²

+

∑

n i=1

b

u

²_i から，明らかに，

0 ≤ R

²

≤ 1,

(6)

となる。R² が

1

に近づけば回帰式の当てはまりは良いと言える。しかし，t分布のような数表は存在しない。したがって，「どの値よりも大きくなるべき」というような基準はない。

慣習的には，メドとして

0.9

以上を判断基準にする。

数値例：決定係数の計算には以下の公式を用いる。

R

²

= 1 −

∑

n i=1

b u

²_i

∑

n

i=1

(Y

_i

− Y )

²

= 1 −

∑

n i=1

b u

²_i

∑

n

i=1

Y

_i²

− nY

² 計算に必要なものは，b

u

_i

= Y

_i

− ( α b + βX b

_i

)，Y

，

∑

n i=1

Y

_i² である。

i Y

i

X

i

Y b

i

b ^u

i

b ^u

i

Y

_i²

1 6 10 6.8 − 0.8 0.64 36

2 9 12 8.1 0.9 0.81 81

3 10 14 9.4 0.6 0.36 100

4 10 16 10.7 − 0.7 0.49 100

合計

∑ Y

i

∑ X

i

∑ b Y

i

∑ b ^u

i

∑ b ^u

²i

∑ Y

_i²

35 52 35.0 0.0 2.30 317

∑ b u

²_i

= 2.30，X = 13，Y = 8.75，

∑

n i=1

Y

_i²

= 317

なので，

R

²

= 1 − 2.30

317 − 4 × 8.75

²

= 1 − 2.30

10.75 = 0.786

1.5

まとめ

b

α， β b

を求めるための公式は

β b =

∑

n

i=1

X

i

Y

i

− nXY

∑

n

i=1

X

_i²

− nX

²

b

α = Y − βX b

なので，必要なものは

X，Y

，

∑

n i=1

X

_i²，

∑

n i=1

X

i

Y

i である。

決定係数の計算には以下の公式を用いる。

R

²

= 1 −

∑

n i=1

b u

²_i

∑

n

i=1

(Y

_i

− Y )

²

= 1 −

∑

n i=1

b u

²_i

∑

n

i=1

Y

_i²

− nY

² 計算に必要なものは，

∑

b u

²_i，Y，

∑

n i=1

Y

_i² である。

2 重回帰の行列表示

1.

回帰モデル

y

_t

= β

₁

x

_1t

+ β

₂

x

_2t

+ · · · + β

_k

x

_kt

+ u

_t

,

ただし，t

= 1, 2, · · · , T

とする。

2.

攪乱項

u

tの仮定

(a) u

_t

∼ iid (0, σ

²

)

(b) x

1t

, x

2t

, · · · , x

kt と

u

tは無相関

(c) x

1t

, x

2t

, · · · , x

kt

, y

tは定常

(大標本特性を調べる

場合に必要)

(d) β

の推定値の仮説検定を行うときには，ut

∼ iid N (0, σ

²

)

の仮定が必要

3. x

1t

= 1

のとき，β1 は定数項となる。

4.

最小自乗法

S(β

₁

, β

₂

, · · · , β

_k

)

=

∑

T t=1

(y

_t

− β

₁

x

_1t

− β

₂

x

_2t

− · · · − β

_k

x

_kt

)

²

S(β

1

, β

2

, · · · , β

k

)

を最小にする

β

1

, β

2

, · · · , β

k をその推定値とする。=

⇒ β b

₁

, β b

₂

, · · · , β b

_k

それぞれの要素で偏微分する。

∂S(β

₁

, β

₂

, · · · , β

_k

)

∂β

1t

= − 2

∑

T t=1

x

1t

(y

t

− β

1

x

1t

− β

2

x

2t

− · · · − β

k

x

kt

)

= 0

∂S(β

1

, β

2

, · · · , β

k

)

∂β

_2t

= − 2

∑

T t=1

x

2t

(y

t

− β

1

x

1t

− β

2

x

2t

− · · · − β

k

x

kt

)

= 0 .. .

∂S(β

1

, β

2

, · · · , β

k

)

∂β

_kt

= − 2

∑

T t=1

x

kt

(y

t

− β

1

x

1t

− β

2

x

2t

− · · · − β

k

x

kt

)

= 0

(7)

まとめて，

∑ x

1t

y

t

= β

1

∑ x

²_1t

+ β

2

∑ x

1t

x

2t

+ · · · + β

k

∑ x

1t

x

kt

∑ x

2t

y

t

= β

1

∑ x

2t

x

1t

+ β

2

∑ x

²_2t

+ · · · + β

_k

∑

x

_2t

x

_kt

.. .

∑ x

kt

y

t

= β

1

∑ x

kt

x

1t

+ β

2

∑ x

kt

x

2t

+ · · · + β

k

∑ x

²_kt

さらに，行列でまとめて，



 

 

∑ x

²_1t

∑

x

1t

x

2t

· · · ∑ x

1t

x

kt

∑ x

_2t

x

_1t

∑

x

²_2t

· · · ∑ x

_2t

x

_kt

.. . .. . .. . · · ·

∑ x

kt

x

1t

∑ x

kt

x

2t

· · · ∑ x

²_kt



 

 

×



 

  β

1

β

₂

.. . β

k



 

  =



 

 

∑ x

1t

y

t

∑ x

2t

y

t

.. .

∑ x

kt

y

t



 

 

5.

行列表示が簡単

y

_t

= β

₁

x

_1t

+ β

₂

x

_2t

+ · · · + β

_k

x

_kt

+ u

_t

= (x

_1t

x

_2t

· · · x

_kt

)



 

  β

₁

β

2

.. . β

k



 

  + u

_t

= x

_t

β + u

_t ただし，

x

t

= (x

1t

x

2t

· · · x

kt

),

β =



 

  β

₁

β

2

.. . β

k



 

  ,

とする。

y

₁

= x

₁

β + u

₁

y

₂

= x

₂

β + u

₂

.. .

y

T

= x

T

β + u

T

行列でまとめる。



 

  y

1

y

₂

.. . y

T



 

  =



 

  x

1

x

2

.. . x

_T



 

  β +



 

  u

1

u

2

.. . u

_T



 

 

y = Xβ + u

ただし，

y =



 

  y

₁

y

2

.. . y

T



 

  ,

X =



 

  x

1

x

₂

.. . x

T



 

  ,

u =



 

  u

1

u

₂

.. . u

T



 

 

とする。

6.

それぞれの行列の次元は以下のとおり。

x

_t

: 1 × k,

β: k × 1,

y: T × 1,

X : T × k,

u: T × 1

(8)

3 行列について

A : T × T , B : n × m, C : m × k, D : k × n,

1. tr(A) =

∑

T i=1

a

_ii

, where A = [a

_ij

] . 2. If A is idempotent, A = A

²

= A

⁰

A .

3. A is idempotent if and only if the eigen values of A consist of 1 and 0.

4. If A is idempotent, rank(A) =tr(A) . 5. tr(BCD) =tr(CDB)

3.1

行列の微分

a, x : T × 1, y : K × 1, A : T × T , B : T × K 1. ∂a

⁰

x

∂x = ∂x

⁰

a

∂x = a a

⁰

x，x

⁰

a

共にスカラー

2. ∂x

⁰

Ax

∂x = (A + A

⁰

)x 3. ∂

²

x

⁰

Ax

∂x∂x

⁰

= (A + A

⁰

) 4. ∂x

⁰

By

∂B = xy

⁰

5. ∂tr A

∂A = I 6. ∂ log | A |

∂A = (A

⁰

)

⁻¹

3.2

分布関数

a, x, y, µ : T × 1, Σ, A, B : T × T , σ : scalar

1. If x ∼ N (µ, Σ), then a

⁰

x ∼ N (a

⁰

µ, a

⁰

Σa) .

2. If x ∼ N (µ, Σ), then (x − µ)

⁰

Σ

⁻¹

(x − µ) ∼ χ

²

(T ) 3. x: n × 1,

y: m × 1

とする。x

∼ N (µ

x

, Σ

x

), y ∼ N(µ

y

, Σ

y

), x

と

y

は独立

(E (

(x − µ

_x

)(y − µ

_y

)

⁰

)

= 0)

のとき，

(x − µ

x

)

⁰

Σ

⁻_x¹

(x − µ

x

)/n

(y − µ

y

)

⁰

Σ

⁻y¹

(y − µ

y

)/m ∼ F (n, m)

4. If x ∼ N (0, σ

²

I) and A is a symmetric idempotent T × T matrix of rank G, then x

⁰

Ax/σ

²

∼ χ

²

(G).

5. If x ∼ N (0, σ

²

I), A and B are symmetric idempotent T × T matrices of rank G and K, and AB = 0, then

x

⁰

Ax Gσ

²

/ x

⁰

Bx

Kσ

²

= x

⁰

Ax/G

x

⁰

Bx/K ∼ F(G, K).

4 _{多重回帰：再考}

y : T × 1, X : T × k, β : k × 1, u : T × 1,

1. u = (u

₁

, u

₂

, · · · , u

_t

)

⁰ とする。

∑

T t=1

u

²_t

= u

⁰

u

2. Regression model: y = Xβ + u, u ∼ (0, σ

²

I)

最小二乗推定量

min

β

(y − Xβ)

⁰

(y − Xβ)

u

⁰

u = (y − Xβ)

⁰

(y − Xβ)

= y

⁰

y − 2β

⁰

X

⁰

y + β

⁰

X

⁰

Xβ

最小化のためには

∂u

⁰

u

∂β = − 2X

⁰

y + 2X

⁰

Xβ = 0

で，これを満たす

β

を最小二乗推定量と呼び，

β b

で表す。

β b = (X

⁰

X )

⁻¹

X

⁰

y

(9)

3.

最小化のための

2

階の条件：

∂

²

u

⁰

u

∂β∂β

⁰

= 2X

⁰

X

は正値定符号行列

c = Xd

とすると，任意の

d 6 = 0

について

c

⁰

c = d

⁰

X

⁰

Xd > 0

となる。

(*)

正値定符号行列，負値定符号行列について

(a)

正値定符号行列：

任意のベクトル

x 6 = 0

について，x⁰

Ax > 0

が成り立つとき，Aは正値定符号行列

(positive defi- nite matrix)

という。

正値定符号行列の固有値はすべて正である。

(b)

負値定符号行列：

任意のベクトル

x 6 = 0

について，x⁰

Ax < 0

が成り立つとき，Aは負値定符号行列

(positive defi- nite matrix)

という。

負値定符号行列の固有値はすべて負である。

4. β b = (X

⁰

X)

⁻¹

X

⁰

y

= (X

⁰

X)

⁻¹

X

⁰

(Xβ + u)

= β + (X

⁰

X )

⁻¹

X

⁰

u

5.

最小二乗推定量

β b = (X

⁰

X )

⁻¹

X

⁰

y

は

y

に関して線形

= ⇒

線形推定量

6. E( β) = b β + (X

⁰

X )

⁻¹

X

⁰

E(u) = β

= ⇒

線形不偏推定量

7. V( β) = E b (

( β b − β)(b β − β)

⁰

)

= E (

((X

⁰

X )

⁻¹

X

⁰

u)((X

⁰

X )

⁻¹

X

⁰

u)

⁰

)

= (X

⁰

X)

⁻¹

X

⁰

E(uu

⁰

)X(X

⁰

X)

⁻¹

= σ

²

(X

⁰

X)

⁻¹

8. u ∼ N(0, σ

²

I

_T

)

のとき，

β b ∼ N (β, σ

²

(X

⁰

X )

⁻¹

)

さらに，

( β b − β)

⁰

X

⁰

X( β b − β)

σ

²

∼ χ

²

(k)

を得る。

(*) x

を

k × 1

の確率変数とする。

x ∼ N(µ, Σ) = ⇒ (x − µ)

⁰

Σ

⁻¹

(x − µ) ∼ χ

²

(k)

9. Properties of β b : BLUE (best linear unbiased estimator), i.e., Unbiased and eﬃcient estimator in linear class (Gauss-Markov theorem)

証明：

適当な他の線形不偏推定量を

β e = Cy

とする。

β e = Cy

= C(Xβ + u)

= CXβ + Cu

なので，

E( β e ) = CXβ + CE(u)

= CXβ

を得る。

β e = Cy

を線形不偏推定量と仮定したので，

E( β e ) = β

，すなわち，CX

= I

を得る。

次に，

β e = Cy

の分散を求める。

β e = C(Xβ + u)

= β + Cu

なので，

V( β e ) = E( β e − β )( β e − β)

⁰

= E(Cuu

⁰

C

⁰

)

= σ

²

CC

⁰ を得る。

D = C − (X

⁰

X )

⁻¹

X

⁰ を定義する。

V( β) = e σ

²

CC

⁰

= σ

²

(

D + (X

⁰

X)

⁻¹

X

⁰

)(

D + (X

⁰

X )

⁻¹

X

⁰

)

₀ さらに，

CX = I = (

D + (X

⁰

X)

⁻¹

X

⁰

)

X = DX + I

により，

DX = 0

(10)

を得る。したがって，

V( β) e

= σ

²

CC

⁰

= σ

²

(

D + (X

⁰

X )

⁻¹

X

⁰

)(

D + (X

⁰

X)

⁻¹

X

⁰

)

₀

= σ

²

(X

⁰

X )

⁻¹

+ σ

²

DD

⁰

= V( β) + b σ

²

DD

⁰

よって，V(

β) e − V( β) b

は正値定符号行列

= ⇒ β b

は最小分散不偏推定量

10. σ

² の推定量を

s

²とする。

s

²

= 1

T − k (y − X β) b

⁰

(y − X β), b because

y − X β b = y − X (X

⁰

X )

⁻¹

X

⁰

y

= (I

T

− X(X

⁰

X )

⁻¹

X

⁰

)y

= (I

_T

− X(X

⁰

X )

⁻¹

X

⁰

)(Xβ + u)

= (I

_T

− X(X

⁰

X )

⁻¹

X

⁰

)u and

E ( 1

T − k (y − X β) b

⁰

(y − X β) b )

= 1

T − k E (

((I

_T

− X (X

⁰

X )

⁻¹

X

⁰

)u)

⁰

((I

T

− X (X

⁰

X )

⁻¹

X

⁰

)u) )

= 1

T − k E (

u

⁰

(I

T

− X (X

⁰

X )

⁻¹

X

⁰

)

⁰

(I

T

− X (X

⁰

X)

⁻¹

X

⁰

)u )

= 1

T − k E (

u

⁰

(I

T

− X (X

⁰

X )

⁻¹

X

⁰

)u )

= 1

T − k E (

tru

⁰

(I

_T

− X (X

⁰

X )

⁻¹

X

⁰

)u )

= 1

T − k tr (

(I

_T

− X (X

⁰

X )

⁻¹

X

⁰

)E(uu

⁰

) )

= 1

T − k σ

²

tr (

(I

T

− X(X

⁰

X)

⁻¹

X

⁰

) )

= 1

T − k σ

²

(T − k)

= σ

²

トレースについて：

1. A: k × k tr(A) = ∑

k

i=1

a

ii

a

ii は

A

の第

i

行，第

j

列の要素

2. a:

スカラー

(1 × 1)

tr(a) = a

3. A: T × k, B: k × T

のとき，

tr(AB) = tr(BA)

4. tr[X(X

⁰

X )

⁻¹

X

⁰

] = tr[(X

⁰

X)

⁻¹

X

⁰

X] = tr(I

_k

) 5. X :

確率変数行列のとき，

E[tr(X)] = tr[E(X )]

F

分布

(H

₀

: β = 0)

について：

1. If u ∼ N (0, σ

²

I

_T

), then β b ∼ N (β, σ

²

(X

⁰

X)

⁻¹

) . Therefore,

( β b − β)

⁰

X

⁰

X ( β b − β)

σ

²

∼ χ

²

(k).

(a) ( β b − β)

⁰

X

⁰

X ( β b − β)

σ

²

∼ χ

²

(k)

の証明：

β b − β = (X

⁰

X)

⁻¹

X

⁰

u

なので，

(b β − β)

⁰

X

⁰

X (b β − β)

= (

(X

⁰

X )

⁻¹

X

⁰

u )

₀

X

⁰

X(X

⁰

X)

⁻¹

X

⁰

u

= u

⁰

X (X

⁰

X)

⁻¹

X

⁰

X(X

⁰

X)

⁻¹

X

⁰

u

= u

⁰

X (X

⁰

X)

⁻¹

X

⁰

u

を得る。

X(X

⁰

X )

⁻¹

X

⁰ はべき等行列

(idempotent, i.e., A

⁰

A = A)

であることに注意すると，

u

⁰

X (X

⁰

X )

⁻¹

X

⁰

u σ

²

∼ χ

²

(

tr (

X (X

⁰

X )

⁻¹

X

⁰

))

(11)

しかも，

tr (

X (X

⁰

X )

⁻¹

X

⁰

)

= tr (

(X

⁰

X)

⁻¹

X

⁰

X )

= tr(I

k

)

= k

なので，

u

⁰

X(X

⁰

X )

⁻¹

X

⁰

u

σ

²

∼ χ

²

(k) (b) (*)

公式：

確率変数

x ∼ N (0, I

_k

)

とする。このとき，

x

⁰

Ax ∼ χ

²

(

Rank(A) )

となる。

また，Aがべき等行列

(idempotent, i.e., A

⁰

A = A)

のとき，

Rank(A) = tr(A)

なので，

x

⁰

Ax ∼ χ

²

( tr(A) )

となる。

ここでは，

u ∼ N (0, σ

²

I

T

)

なので，

1 σ u ∼ N(0, I

T

)

を当てはめればよい。

行列の階数

(Rank)

について：

一次独立な行ベクトル

(または，列ベクトル)

の最大個数

(行ベクトルが張る空間の次元) 2.

残差平方和について，

b

u = y − X β b

= y − X(X

⁰

X)

⁻¹

X

⁰

y

= (

I − X (X

⁰

X )

⁻¹

X

⁰

) y

= (

I − X (X

⁰

X )

⁻¹

X

⁰

)

(Xβ + u)

= (

I − X (X

⁰

X )

⁻¹

X

⁰

) Xβ

+ (

I − X (X

⁰

X )

⁻¹

X

⁰

) u

= (

X − X (X

⁰

X )

⁻¹

X

⁰

X ) β + (

I − X (X

⁰

X )

⁻¹

X

⁰

) u

= (

I − X (X

⁰

X )

⁻¹

X

⁰

) u

なので，

b u

⁰

u b = ((

I − X(X

⁰

X )

⁻¹

X

⁰

) u

)

₀

( I − X (X

⁰

X )

⁻¹

X

⁰

)

u

= u

⁰

(

I − X(X

⁰

X)

⁻¹

X

⁰

) ( I − X (X

⁰

X )

⁻¹

X

⁰

)

u

= u

⁰

(

I − X(X

⁰

X)

⁻¹

X

⁰

) u

と変形され，

b u

⁰

b u

σ

²

= u

⁰

(

I − X (X

⁰

X )

⁻¹

X

⁰

) u σ

²

∼ χ

²

(

tr (

I − X (X

⁰

X )

⁻¹

X

⁰

))

を得る。

tr (

I − X (X

⁰

X )

⁻¹

X

⁰

)

= tr(I

T

) − tr (

X(X

⁰

X )

⁻¹

X

⁰

)

= tr(I

T

) − tr (

(X

⁰

X )

⁻¹

X

⁰

X )

= tr(I

T

) − tr(I

k

)

= T − k

なので，

b u

⁰

b u

σ

²

= (T − k)s

²

σ

²

∼ χ

²

(T − k)

途中で以下の式が使われている。

s

²

= 1 T − k b u

⁰

b u

3.

さらに，

β b

と

u b

は独立になる。

[証明]

u ∼ N(0, σ

²

I)

なので，

エコノメトリックス II (2011 年度後期 講義ノート )