平成28年度 上級計量経済学 講義ノート3: 極値推定量
このノートでは、極値推定量(extremum estimator) と呼ばれる広いクラスの推定量の 大標本特性の一般理論を解説する。極値推定量は、OLS推定量やGMM推定量、最尤推定 量などといった計量経済学で重要な推定量をその特別な場合として含む。従って、このノー トで考察する極値推定量の漸近理論から、計量経済学における推定量の漸近理論の大部分を 導出することができる。
3.1 極値推定量
データ{W1, · · · , Wn}に依存する関数Qn(W1, · · · , Wn; θ)の最大化（最小化）問題の解とし て定義される推定量を極値推定量という。すなわち、θˆEE を極値推定量とすると
θˆEE = arg max
θ Qn(W1, · · · , Wn; θ) (1)
である。
例： 以下の推定量は極値推定量である。
• OLS推定量
Qn(W1, · · · , Wn; β) = −1n
n
∑
i=1
(yi− Xi′β)2 (2)
• ML推定量 f (w; θ)をWiの密度関数として、
Qn(W1, · · · , Wn; θ) =
1 n
n
∑
i=1
logf (Wi; θ) (3)
• M推定量 ある既知の関数m(·; ·)に対して、
Qn(W1, · · · , Wn; θ) =
1 n
n
∑
i=1
m(Wi; θ) (4)
– OLS, MLはM推定量の特殊ケースである。
• GMM推定量 ある既知の関数g(·; ·)と正値定符号の行列W に対して、
Qn(W1, · · · , Wn; θ) = − [1
n
n
∑
i=1
g(Wi; θ) ]′
W [1
n
n
∑
i=1
g(Wi; θ) ]
(5)
以下、表現の簡単化のためにQn(W1, · · · , Wn; θ)をQn(θ)と書く。
3.2 極値推定量の一致性
母数空間をΘと表記する。更に、以下を満たす関数Q(θ)が存在すると仮定する。
A(i) (識別) supθ∈Θ/B(θ0,δ)Q(θ) < Q(θ0), ∀δ > 0。なお、B(θ0, δ) = {θ : ∥θ − θ0∥ < δ} である。
A(ii) (一様収束) supθ∈Θ|Qn(θ) − Q(θ)| →p 0
定理 1. A(i)とA(ii)の下で、
θˆEE →p θ0 (6)
が成り立つ。 定理1の証明
示すべきは∀δ > 0でθˆEE ∈ B(θ0, δ)という事象の確率が1に近づいていくことである。 A(i)の仮定により、もしθˆEE ∈ B(θ/ 0, δ)なら、∃ϵ > 0、Q(θ0) − Q(ˆθEE) ≥ ϵ > 0であ る。つまり、∀δに対して
Pr[ˆθEE ∈ Θ\B(θ0, δ)] ≤ Pr[Q(θ0) − Q(ˆθEE) ≥ ϵ > 0] (7) となる。ここで、上の確率は
= Pr[Q(θ0) − Qn(θ0) + Qn(θ0) − Qn(ˆθEE) + Qn(ˆθEE) − Q(ˆθEE) ≥ ϵ > 0] (8)
≤ Pr[sup
θ∈Θ|Qn(θ) − Q(θ)| + 0 + sup
θ∈Θ|Qn(θ) − Q(θ)| ≥ ϵ > 0] (9)
= Pr[2 sup
θ∈Θ|Qn(θ) − Q(θ)| ≥ ϵ > 0] (10)
となるが、
Pr[2 sup
θ∈Θ|Qn(θ) − Q(θ)| ≥ ϵ > 0] → 0 (11)
がA(ii)の仮定により成り立つ。したがって、
Pr[ˆθEE ∈ Θ\B(θ0, δ)] → 0. (12)
（証明終）
A(i)の仮定は以下の条件の下で成り立つことが証明できる。 補題 1. (i) Q(θ) は θ0で一意に最大化される。
(ii) Q(θ) はΘで連続である。 (iii) Θ はコンパクトである。
上の3つの条件のもとで A(i)の識別条件が成り立つ 補題1の証明
背理法で証明する。仮に
sup
θ∈Θ\B(θ0,δ)
Q(θ) = Q(θ0) (13)
とする。すると、ある無限系列θ1, θ2, . . .が存在して、θi ∈ Θ\B(θ0, δ), ∀i、かつlimi→∞Q(θi) = Q(θ0)となる。Θのコンパクト性により、{θi}∞i=1の部分系列のうちでθi(k)→ θ∗ ∈ Θ\B(θ0, δ)
となるものが存在する。ここで、limk→∞Q(θi(k)) = Q(θ0)であるが、連続性により、limk→∞Q(θi(k)) = Q(θ∗)となる。これよりQ(θ0) = Q(θ∗)となる。しかしθ∗∈ Θ\B(θ0, δ)であり、θ0が唯一
の最大詞であることを仮定していたので、矛盾である。
（証明終）
一様確率収束には以下補題2の十分条件が知られている。m(·, ·)を既知のベクトル値関 数とする。
補題 2. (Lemma 7.2, Hayashi (2000), P.459 の特殊例) {Wi}はi.i.d.とする。
(i) Θはコンパクトである。
(ii) m(Wi; θ)はすべてのWiについてθに関して連続である。
(iii) すべてのθ ∈ Θについて||m(Wi; θ)|| < d(Wi)、かつE[d(Wi)] < ∞を満たす関 数d(·)が存在する。
そのとき、
sup
θ∈Θ
1 n
n
∑
i=1
m(Wi; θ) − E[m(Wi; θ)]
→p 0 (14)
であり、かつE[m(Wi; θ)]はθについて連続である。
• (iii)の条件はE[supθ∈Θ||m(Wi; θ)||] < ∞で置き換えられる。
母数空間がコンパクトでない場合 上の二つの補題では母数空間がコンパクト、つまり有界 な閉集合であるというを仮定しているが、これは制約として強すぎるかもしれない。目的関 数が凹関数であれば、母数空間のコンパクト性を仮定せずとも一致性が証明できる。
B(i) ΘはRkのコンパクト集合ではない。また、θ0はΘの内点である。
B(ii) Qn(θ)は任意のデータ{W1, · · · , Wn}に対してθについて凹(concave)である。 更に、以下を満たす関数Q0(θ)が存在する。
B(iii) Q0(θ0) > Q0(θ)、∀θ ̸= θ0 in Θ B(iv) Qn(θ) →p Q0(θ)、∀θ ∈ Θ 定理 2. B(i),(ii),(iii),(iv)が成り立つ時、
θˆEE →p θ0 (15)
となる。
• 定理2の証明はNewey and McFadden (1994, p.2133-2134)を参照のこと。
• なお、定理において、元のモデルそのものは仮定B(ii)を満たさない場合でも、１対１ の連続関数gに対してτ = g(θ)と変換した時にQ˜n(τ ) = Qn[g−1(τ )]がτ について凹 関数であれば、Q˜を用いたτの極値推定量τˆEEは定理2より一致性をもつ。それを用 いてθˆEE = g−1(ˆτEE)を構成すればθの一致推定量が得られる。（例: Hayashi (2000), Example 7.7, p.461）
3.3 極値推定量の漸近正規性
本節では、極値推定量の漸近分布を求める。Qn(θ)がθに関して滑らかで、θ0がΘの内点 であれば、極値推定量(1)は
∂Qn(ˆθEE)
∂θ = 0,
∂2Qn(ˆθEE)
∂θ∂θ′ < 0 (16)
を満たす。漸近分布は、この一階の条件をテイラー展開することによって求めることができ る。なお定理2の仮定が満たされていてQn(θ)がθに関して大域的に凹関数であれば、(16) の解は一意であるが、定理1の仮定の下ではnが十分大きい場合にも(16)を満たす解が複 数存在する可能性がある。後者の場合、複数の解のうち、Qnを最大にするものを選ぶもの とする。
定理 3 (極値推定量の漸近正規性). (i) 定理1または2の条件が成立しており、従ってθˆEE は一致推定量である。
(ii) θ0はΘの内点である。
(iii) Qn(θ)は任意の{W1, · · · , Wn}に対してθ0の近傍でθについて２回連続微分可能で ある。
(iv) √n∂Qn(θ0)
∂θ →dN (0, B(θ0)), B(θ0) = limn→∞E [
n∂Qn(θ0)
∂θ
∂Qn(θ0)
∂θ′ ]
(v) ¯θn →p θ0を満たすすべてのθ¯nについて、∂2Qn(¯θn)
∂θ∂θ′ →p limn→∞E
[ ∂2Qn(θ0)
∂θ∂θ′ ]
= A(θ0)が成立し、A(θ0)は有界で正則である。
そのとき、
√n(ˆθEE − θ0) →dN (0, A(θ0)−1B(θ0)A(θ0)−1) (17)
が成立する。
（証明）
(ii)、(iii)より、(1)で定義されている極値推定量θˆEE は
∂Qn(ˆθEE)
∂θ = 0 (18)
を満たす。平均値の定理より、
0 = ∂Qn(ˆθEE)
∂θ =
∂Qn(θ0)
∂θ +
∂2Qn(¯θ)
∂θ∂θ′ (ˆθEE− θ0) (19) を満たすθ¯が存在し、θ = λˆ¯ θEE+ (1 − λ)θ0でλ ∈ [0, 1]である。これをθˆEE− θ0について 解くと
√n(ˆθEE − θ0) = −[ ∂ 2Q
n(¯θ)
∂θ∂θ′ ]−1
√n∂Qn(θ0)
∂θ (20)
となり、仮定(iv), (v)より結果を得る。
（証明終）
仮定(v)を直接確かめるのは通常難しいが、次の補題3を使って確かめることができ る。すなわちnに依存する関数gn(θ)(→p g(θ))について、θ →ˆ p θ0を満たすθˆに対して、 gn(ˆθ) →pg(θ0)が成立する条件を与える。
補題 3 (Theorem 4.1.5, Amemiya (1985), p.113). θ0の近傍をN (θ0)とする。 (i) ˆθ →p θ0
(ii) supθ∈N (θ0)|gn(θ) − g(θ)| →p 0
(iii) g(θ)はθ = θ0で連続である。 これらの仮定の下で、
gn(ˆθ) →pg(θ0) (21)
である。
証明は講義では取り扱わない。1
1参考までに証明を紹介する。
3.4 M推定量の一致性と漸近正規性
極値推定量の一例であるM推定量に対して、これまで紹介した極値推定量の漸近理論を適 用する。またM推定量の結果は、OLS推定量に当てはまるため、それ自体にも意味がある。 前述の通り、M推定量はある既知の関数mについて
θˆM = arg max
θ∈Θ
1 n
n
∑
i=1
m(Wi; θ) (29)
によって定義される。
3.4.1 M推定量の一致性
推定量の一致性の証明には、パラメータ空間がコンパクトな場合とわけて考える。それらに 対応して、以下の２つの定理が証明できる。{Wi}はi.i.d.であるとする。
定理 4 (パラメータ空間がコンパクトな場合（Proposition 7.3, Hayashi (2000), p.459）). 以下の(i)-(iv)が成立すると仮定する。
(i) パラメータ空間ΘはRkのコンパクトな部分集合である。 (ii) m(Wi; θ)はすべてのWiに対してθについて連続である。 (iii) E[m(Wi; θ0)] > E[m(Wi; θ)]、∀θ(∈ Θ) ̸= θ0
（証明） 任意のϵ > 0に対して
Pr[|gn(ˆθ) − g(θ0)| ≥ ϵ] ≤ Pr[|gn(ˆθ) − g(ˆθ)| + |g(ˆθ) − g(θ0)| ≥ ϵ]
≤ Pr[|gn(ˆθ) − g(ˆθ)| ≥ ϵ 2 ]
+ Pr[|g(ˆθ) − g(θ0)| ≥ ϵ 2 ]
(22) である。(i), (ii)より、任意のϵ > 0、δ > 0に対して、あるn0が存在して、
Pr[ˆθ /∈ N (θ0)] < δ
4 (23)
Pr [
sup
θ∈N(θ0)
|gn(θ) − g(θ)| ≥ ϵ 2 ]
<δ
4 (24)
がすべてのn > n0について成立する。これらを用いると、(22)の第１項は Pr[|gn(ˆθ) − g(ˆθ)| ≥ ϵ
2 ]
= Pr[|gn(ˆθ) − g(ˆθ)| ≥ ϵ
2, ˆθ ∈ N (θ0)
]+ Pr[|gn(ˆθ) − g(ˆθ)| ≥ ϵ
2, ˆθ /∈ N (θ0) ]
≤ Pr
[ sup
θ∈N(θ0)
|gn(θ) − g(θ)| ≥ ϵ 2 ]
+ Pr[ˆθ /∈ N (θ0)]
≤ δ
2 (25)
となる。(22)の第２項について、仮定(i), (iii)よりあるn1が存在して Pr[|g(ˆθ) − g(θ0)| ≥ ϵ
2 ]< δ
2 (26)
がすべてのn > n1について成立する。(25)、(26)から、すべてのn > max(n0, n1)について Pr[|gn(ˆθ) − g(ˆθ)| ≥ ϵ
2
]+ Pr[|g(ˆθ) − g(θ0)| ≥ ϵ 2
]< δ (27)
となる。従って、(27)、(22)から
Pr[|gn(ˆθ) − g(θ0)| ≥ ϵ] < δ (28)
（証明終）
(iv) E[supθ∈Θ∥m(Wi; θ)∥] < ∞ そのとき、
θˆM →pθ0 (30)
となる。
補題2より、(i), (ii), (iv)の仮定のもとで目的関数がE{m(Wi; θ)}に一様確率収束する ことが保証される。他の条件は定理1と補題1の条件をM推定量の枠組みに書き直したも のである。
定理2に対応して、以下が証明される。
定理 5 (パラメータ空間がコンパクトでない場合（Proposition 7.4, Hayashi (2000), p.460 の特殊例)). 以下の(i)’,(ii)’,(iii),(iv)’が成立すると仮定する。
(i)’ パラメータ空間ΘはコンパクトでないRkの部分集合である。また、θ0はΘの内点 である。
(ii)’ m(Wi; θ)はすべてのWiに対してθについて凹関数である。 (iii) E[m(Wi; θ0)] > E[m(Wi; θ)]、∀θ(∈ Θ) ̸= θ0
(iv)’ E[∥m(Wi; θ)∥] < ∞、 ∀θ ∈ Θ そのとき、
θˆM →pθ0 (31)
定理5の証明は、定理2の条件をM推定量の目的関数に対して調べることでできる。
3.4.2 M推定量の漸近正規性
この節では、M推定量の漸近正規性を示す。
定理 6 (M推定量の漸近正規性（Proposition 7.8, Hayashi (2000), p.472の特殊例)). {Wi}
はi.i.d.であるとする。また、以下の条件が成立しているものとする。
(i) 定理4または5の条件が成立しており、従ってθˆM は一致推定量である。 (ii) θ0はΘの内点である。
(iii) m(Wi; θ)は任意のWiに対してθについて２回連続微分可能である。 (iv) √1
n
∑n i=1
∂m(Wi; θ0)
∂θ →dN (0, Σ)、Σは正値定符号行列である。 (v) 1
n
∑n
i=1
∂2m(Wi; θ0)
∂θ∂θ′ →p E
[ ∂2m(Wi; θ0)
∂θ∂θ′ ]
= Hで、Hは有界で正則である。 (vi) θ0のある近傍をN (θ0)として、E
[
supθ∈N (θ0)
∂2m(Wi; θ)
∂θ∂θ′ ]
< ∞ そのとき、
√n(ˆθM − θ0) →dN (0, H−1ΣH−1′) (32) である。
定理6の証明は、定理3の応用である。まず、定理3の条件(i)、(ii)、(iii)、(iv)は、定 理6の対応する条件から、成り立つことが分かる。残りは、定理3の条件(v)である。補題 2でパラメータ空間をN (θ0)の閉包に変更したものを考えると、(ii)、(iii)、(vi)から、
sup
θ∈N (θ0)
1 n
n
∑
i=1
∂2m(Wi; θ)
∂θ∂θ′ − E
[ ∂2m(Wi; θ)
∂θ∂θ′ ]
→p0 (33)
となる。この結果と条件(iii)より、補題3が適用できて、定理3の条件(v)が成り立つこと が分かる。
• Σ = E[ ∂m(W∂θi; θ0)∂m(W∂θi′; θ0) ]
である。
• (v)の収束はi.i.d.の仮定により大数の法則から成立する結果である。(v)の仮定の主
たる部分はE[ ∂
2m(W i; θ0)
∂θ∂θ′ ]
が有界で正則という点である。
References
[1] T. Amemiya. Advanced Econometrics. Harvard University Press, Cambridge, Massachusetts, 1985.
[2] F. Hayashi. Econometrics. Princeton University Press, 2000.
[3] W. K. Newey and D. McFadden. Large sample estimation and hypothesis testing. In R. F. Engle and D. L. McFadden, editors, Handbook of Econometrics, volume 4, chapter 36, pages 2111–2245. Elsevier, 1994.
