経済学特論（経済時系列分析入門）
Tue., 8:50-10:20
Room # 4 (
法経講義棟)
• The prerequisite of this class is Basic Statistics (統計基礎) (by Prof. Fukushige,
Tue., 16:20-17:50, this semester), Special Lectures in Economics (Statistical Anal-
ysis),
経済学特論（統計解析）(by Prof. Fukushige, Tue., 14:40-16:10, this semester),Econometrics (
エコノメトリックス) (undergraduate level, next semester,
『計量 経済学』山本 拓 著，新世社),Econometrics I (計量経済 I) (graduate level, this
semester), and Econometrics II (
計量経済II) (graduate level, next semester).
代表的テキスト：
・J.D. Hamilton (1994)
Time Series Analysis
沖本・井上訳(2006)『時系列解析 (上・下)』
・A.C. Harvey (1981)
Time Series Models
国友・山本訳(1985)『時系列モデル入門』
・沖本竜義
(2010)『経済・ファイナンスデータの計量時系列分析』
1
最尤法—
復習n
個の確率変数X 1 , X 2 , · · ·, X n
は互いに独立で，同じ確率分布f (x) ≡ f (x; θ)
と する。ただし，θは母数で，例えば，θ= (µ, σ 2 )
である。X 1 , X 2 , · · ·, X n
の結合分布は，互いに独立なので，f (x 1 , x 2 , · · · , x n ; θ) ≡ Y n
i=1
f (x i ; θ)
と表される。
観測データ
x 1 , x 2 , · · ·, x n
を与えたもとで，Q n
i=1 f (x i ; θ)
はθ
の関数として表され る。すなわち，l(θ) = Y n
i=1
f (x i ; θ)
となる。l(θ)
を尤度関数と呼ぶ。max θ l(θ)
となる
θ
を最尤推定値θ ˆ = θ(x ˆ 1 , x 2 , · · · , x n )
と呼ぶ。データ
x 1 , x 2 , · · ·, x n
を確率変数X 1 , X 2 , · · ·, X n
で置き換えて，θ ˆ = θ(X ˆ 1 , X 2 , · · · , X n )
を最尤推定量と呼ぶ。max θ l(θ)
と
max θ log l(θ)
の
θ
の解はともに同じものであることに注意。logl(θ)
を対数尤度関数と呼ぶ。最尤推定量の性質：
n
が大きいとき，θ ˆ ∼ N(θ, σ 2 θ )
ただし，
σ 2 θ = 1
P n
i=1 E h d log f (X i ; θ) dθ
2 i = − 1 P n
i=1 E h d 2 log f (X i ; θ) dθ 2
i
θ
がベクトル(k × 1)
の場合，nが大きいとき，θ ˆ ∼ N(θ, Σ θ )
ただし，
Σ θ = X n
i=1
E h ∂ log f (X i ; θ)
∂θ
∂ log f (X i ; θ)
∂θ
0 i −1
= − X n
i=1
E h ∂ 2 log f (X i ; θ)
∂θ∂θ 0
i −1
例
1：
正規母集団N(µ, σ 2 )
からの標本値x 1 , x 2 , · · ·, x n
を用いて，(1) σ 2
が既知のとき，µの最尤推定値と最尤推定量(2) σ 2
が未知のとき，µとσ 2
の最尤推定値と最尤推定量 をそれぞれ求める。［解］N(µ, σ
2 )
の密度関数は，f (x; µ, σ 2 ) = 1
√ 2πσ 2 exp
− 1
2σ 2 (x − µ) 2
となる。したがって，互いに独立な
X 1 , X 2 , · · ·, X n
の結合分布は，f (x 1 , x 2 , · · · , x n ; µ, σ 2 ) ≡ Y n
i=1
f (x i ; µ, σ 2 )
= Y n
i=1
√ 1
2πσ 2 exp
− 1
2σ 2 (x i − µ) 2
= (2πσ 2 ) −
n2exp
− 1 2σ 2
X n i=1
(x i − µ) 2
となる。
(1) σ 2
が既知のとき，尤度関数l(µ)
は，l(µ) = (2πσ 2 ) −
n2exp
− 1 2σ 2
X n
i=1
(x i − µ) 2
となる。
l(µ)
を最大にするµ
とlog l(µ)
を最大にするµ
は同じになる。したがって，対数尤度関数は，
log l(µ) = − n
2 log(2πσ 2 ) − 1 2σ 2
X n i=1
(x i − µ) 2
となる。この対数尤度関数を
µ
に関して最大化すると，d log l(µ)
dµ = 1
σ 2 X n
i=1
(x i − µ) = 0
となる
µ
を求める。µの解をµ ˆ
とすると，µの最尤推定値は，ˆ µ = 1
n X n
i=1
x i ≡ x
を得る。
さらに，観測値
x 1 , x 2 , · · ·, x n
をその確率変数X 1 , X 2 , · · ·, X n
で置き換えて，µの 最尤推定量は，ˆ µ = 1
n X n
i=1
X i ≡ X
となる。ˆ
µ
の分散を求めるために，密度関数の対数を取って，log f (X i ; µ) = − 1
2 log(2πσ 2 ) − 1
2σ 2 (X i − µ) 2
となり，µに関して微分して，d log f (X i ; µ)
dµ = 1
σ 2 (X i − µ)
が得られる。両辺を二乗して，d log f (X i ; µ) dµ
2
= 1
σ 4 (X i − µ) 2
となり，期待値を取ると，
E h d log f (X i ; µ) dµ
2 i
= 1
σ 4 E[(X i − µ) 2 ] = 1 σ 2
と計算される。最尤推定量の性質から，nが大きいとき，
ˆ
µ ∼ N(µ, σ 2 µ )
ただし，σ 2 µ = 1
P n
i=1 E h d log f (X i ; µ) dµ
2 i = σ 2 n
この場合は，nの大きさに関わらず，
µ ˆ ∼ N(µ, σ 2 µ )
が成り立つ。(2) σ 2
が未知のとき，µとσ 2
の尤度関数は，l(µ, σ 2 ) = (2πσ 2 ) −
n2exp
− 1 2σ 2
X n i=1
(x i − µ) 2
となる。
対数尤度関数は，
log l(µ, σ 2 ) = − n
2 log(2π) − n
2 log σ 2 − 1 2σ 2
X n i=1
(x i − µ) 2
と表される。
µ
とσ 2
について，最大化するためには，∂ log l(µ, σ 2 )
∂µ = 1
σ 2 X n
i=1
(x i − µ) = 0
∂ log l(µ, σ 2 )
∂σ 2 = − n 2
1 σ 2 + 1
2σ 4 X n
i=1
(x i − µ) 2 = 0
の連立方程式を解く。
µ, σ 2
の解をµ, ˆ ˆ σ 2
とすると，最尤推定値は，ˆ µ = 1
n X n
i=1
x i ≡ x
ˆ σ 2 = 1
n X n
i=1
(x i − µ) ˆ ≡ 1 n
X n i=1
(x i − x)
となる。
観測値
x 1 , x 2 , · · ·, x n
をその確率変数X 1 , X 2 , · · ·, X n
で置き換えて，µ,σ 2
の最尤 推定量は，ˆ µ = 1
n X n
i=1
X i ≡ X ˆ
σ 2 = 1 n
X n i=1
(X i − µ) ˆ ≡ 1 n
X n i=1
(X i − X)
となる。
σ 2
の最尤推定量σ ˆ 2
は，σ2
の不偏推定量S 2 = 1 n − 1
X n i=1
(X i − X) 2
とは異なるこ とに注意。θ = (µ, σ 2 ) 0
とする。nが大きいとき，θ ˆ ∼ N(θ, Σ θ )
ただし，
Σ θ = − X n
i=1
E h ∂ 2 log f (X i ; θ)
∂θ∂θ 0
i −1
となる。Σ
θ
を得るために，密度関数の対数を取って，log f (X i ; θ) = − 1
2 log(2π) − 1
2 log(σ 2 ) − 1
2σ 2 (X i − µ) 2
とばり，µ，σ2
について微分すると，∂ log f (X i ; θ)
∂θ =
∂ log f (X i ; θ)
∂ log ∂µ f (X i ; θ)
∂σ 2
=
1
σ 2 (X i − µ)
− 1
2σ 2 + 1
2σ 4 (X i − µ) 2
となる。さらに，もう一度，微分すると，
∂ 2 log f (X i ; θ)
∂θ∂θ 0 =
∂ 2 log f (X i ; θ)
∂µ 2
∂ 2 log f (X i ; θ)
∂µ∂σ 2
∂ 2 log f (X i ; θ)
∂σ 2 ∂µ
∂ 2 log f (X i ; θ)
∂(σ 2 ) 2
=
− 1
σ 2 − 1
σ 4 (X i − µ)
− 1
σ 4 (X i − µ) 1 2σ 4 − 1
σ 6 (X i − µ) 2
となる。期待値を取って，
E h ∂ 2 log f (X i ; θ)
∂θ∂θ 0
i =
− 1
σ 2 − 1
σ 4 E(X i − µ)
− 1
σ 4 E(X i − µ) 1 2σ 4 − 1
σ 6 E[(X i − µ) 2 ]
=
− 1
σ 2 0
0 − 1
2σ 4
を得る。
よって，
Σ θ = − X n
i=1
E h ∂ 2 log f (X i ; θ)
∂θ∂θ 0
i −1
=
σ 2
n 0
0 2σ 4 n
が得られる。
まとめると，µ，σ
2
の最尤推定量µ ˆ = (1/n) P n
i=1 X i
，σ ˆ 2 = (1/n) P n
i=1 (X i − X) 2
の 分布は，nが大きいとき，ˆ µ ˆ σ 2
!
∼ N µ
σ 2
! ,
σ 2
n 0
0 2σ 4 n
!
となる。
例
2： X 1 , X n , · · ·, X n
は互いに独立で，それぞれパラメータp
を持ったベルヌ イ分布に従うものとする。すなわち，Xi
の確率関数は，f (x; p) = p x (1 − p) 1−x x = 0, 1
となる。
このとき尤度関数は，
l( p) = Y n
i=1
f (x i ; p) = Y n
i=1
p x
i(1 − p) 1−x
iとなり，対数尤度関数は，
log l(p) = X n
i=1
log f (x i ; p)
= log(p) X n
i=1
x i + log(1 − p) X n
i=1
(1 − x i )
= log(p) X n
i=1
x i + log(1 − p)(n − X n
i=1
x i )
となる。
log l(p)
を最大にするp
を求める。d log l(p)
dp = 1
p X n
i=1
x i − 1 1 − p (n −
X n i=1
x i ) = 0
したがって，pについて解くと，
p
の最尤推定値p ˆ
は，ˆ p = 1
n X n
i=1
x i
となる。
さらに，x
i
をX i
で置き換えて，pの最尤推定量p ˆ
は，ˆ p = 1
n X n
i=1
X i
となる。
ˆ
p
の分布を求める。確率関数の対数を取って，log f (X i ; p) = X i log(p) + (1 − X i ) log(1 − p)
となる。pについて微分すると，d log f (X i ; p) d p = X i
p − 1 − X i
1 − p = X i − p p(1 − p)
となる。さらに，両辺を二乗して，期待値を取ると，E h d log f (X i ; p) dp
2 i
= E[(X i − p) 2 ] p 2 (1 − p) 2
となる。期待値を計算すると，E[(X i − p) 2 ] = X 1 x
i=0
(x i − p) 2 f (x i ; p) = X 1 x
i=0
(x i − p) 2 p x
i(1 − p) 1−x
i= p 2 (1 − p) + (1 − p) 2 p = p(1 − p)
となるので，
σ 2 θ = 1
P n
i=1 E h d log f (X i ; p) dp
2 i = p(1 − p) n
が得られる。したがって，
p ˆ
の分布は，nが大きいとき，ˆ
p ∼ N(p, p(1 − p)
n )
となる。例
3： X 1 , X n , · · ·, X n
は互いに独立で，それぞれパラメータλ
を持ったポアソ ン分布に従うものとする。すなわち，Xi
の確率関数は，f (x; λ) = λ x e −λ
x! x = 0, 1, 2, · · ·
となる。このとき尤度関数は，
l(λ) = Y n
i=1
f (x i ; λ) = Y n
i=1
λ x
ie −λ x i !
となり，対数尤度関数は，log l(λ) = X n
i=1
log f (x i ; λ) = log(λ) X n
i=1
x i − nλ − X n
i=1
log(x i !)
となる。
log l(λ)
を最大にするp
を求める。d log l(λ)
dλ = 1
λ X n
i=1
x i − n = 0
したがって，λについて解くと，λの最尤推定値λ ˆ
は，λ ˆ = 1 n
X n i=1
x i
となる。
さらに，x
i
をX i
で置き換えて，λの最尤推定量λ ˆ
は，λ ˆ = 1 n
X n i=1
X i
となる。
λ ˆ
の分布を求める。確率関数に対数を取って，log f (X i ; λ) = X i log(λ) − λ − log(X i !)
となる。λに関して，微分すると，
d log f (X i ; λ)
dλ = X i
λ − 1
を得る。再度，λに関して，微分すると，d 2 log f (X i ; λ)
dλ 2 = − X i λ 2
となる。期待値をとって，E d 2 log f (X i ; λ) dλ 2
= E(X i ) λ 2
が得られる。期待値を計算すると，E(X i ) = X ∞
x=0
x f (x; λ) = X ∞
x=0
x λ x e −λ x!
= X ∞
x=1
x λ x e −λ x! =
X ∞ x=1
λ λ x−1 e −λ (x − 1)! =
X ∞ x=0
λ λ x e −λ
x! = λ
となる。したがって，
σ 2 θ = − 1 P n
i=1 E d 2 log f (X i ; λ) dλ 2
= λ n
となる。よって，
λ ˆ
の分布は，nが大きいとき，λ ˆ ∼ N(λ, λ
n )
を得る。例
4： X 1 , X n , · · ·, X n
は互いに独立で，それぞれパラメータλ
を持った指数分 布に従うものとする。すなわち，Xi
の密度関数は，f (x; λ) = λe −λx x > 0
となる。
このとき尤度関数は，
l(λ) = Y n
i=1
f (x i ; λ) = Y n
i=1
λe −λx
iとなり，対数尤度関数は，
log l(λ) = X n
i=1
log f (x i ; λ) = n log λ − λ X n
i=1
x i
となる。log l(λ)
を最大にするp
を求める。d log l(λ)
dλ = n
λ − X n
i=1
x i = 0
したがって，λについて解くと，λの最尤推定値
λ ˆ
は，λ ˆ = n P n
i=1 x i
となる。さらに，x
i
をX i
で置き換えて，λの最尤推定量λ ˆ
は，λ ˆ = n P n
i=1 X i
となる。λ ˆ
の分布を求める。密度関数の対数を取って，log f (X i ; λ) = log λ − λX i
となる。λについて微分すると，
d log f (X i ; λ)
dλ = 1
λ − X i
を得る。再度，微分して，
d 2 log f (X i ; λ) dλ 2 = − 1
λ 2
が得られる。
σ 2 θ = − 1 P n
i=1 E d 2 log f (X i ; λ) dλ 2
= λ 2 n
となるので，nが大きいとき，
