のように定義されるp行p列の行列である. p= 1の場合には,変数Xの分散を表すことからも分か るように,分散を多次元に拡張したものである.
分散共分散行列の性質としては次のものが挙げられる. 分散共分散行列は基本的には,変数の分散を 表しているので, (半)正定値行列になる. すなわち,任意のu=t(u1,· · ·, up)∈Rpに対して,
tuV (X)u= Xp i,j=1
uiV (X)ijuj ≥0 (7.7)
が成り立つ. 33 不等式(7.7)は,分散共分散行列の固有値が全て0以上(半正定値の場合)[正(正定値 の場合)]であることを意味している. また, 定義から明らかであるが,分散共分散行列は対称行列で ある. すなわち,
V (X) =tV (X) (7.8)
が成り立っている.
7.1.2 一致推定量と不偏推定量
一般に,母集団が大きすぎて全数調査が出来ない場合などには,母集団から標本(例えば,大きさn) を抽出し,その標本について調べることで,母集団についてのパラメータを推定することになる.
「一致推定量」とは,標本の大きさnが十分大きい極限で,母集団のパラメータを偏りなく推定でき る推定量のことである. 数学的に厳密に言うと次のようになる. 標本サイズnの標本から推定した推 定量をtnと表すことにすると,任意のϵ >0,δ >0に対して,ある正の整数N が存在して,
n > N ⇒P rob{|tn−θ|< ϵ}>1−δ (7.9) となるとき,tnを母集団のパラメータθに対応する一致推定量であるという. 34
次に,「不偏推定量」は次のように定義される量である. 標本(サイズn)から推定したθˆk(x)が母集 団のパラメータθkの不偏推定量であるとは, ˆθk(x)の期待値が,θkになることである. すなわち,
Dθˆk E≡
Z
dnxθˆk(x)f(x|θ) =θk (7.10) ということである. 不偏推定量の重要な点は,その期待値が母集団のパラメータになることである. Fisher Analysisでは,この不偏推定量を用いて推定される,母集団のパラメータ(理論のパラメータ) の最小分散限界を見積もることになる.
のようになる. ここで確率分布関数による平均を〈·〉=R
dnx{·}f(x|θ)のように表した. (7.11)は, 確率分布関数の,パラメータによる一階微分の期待値は0であるということを表している. (7.11)を さらにθjで微分すると,
Z dnx
·∂2lnf(x|θ)
∂θi∂θj
f(x|θ) +∂lnf(x|θ)
∂θi
∂f(x|θ)
∂θj
¸
= 0 Z
dnx
·∂2lnf(x|θ)
∂θi∂θj
+∂lnf(x|θ)
∂θi
∂lnf(x|θ)
∂θj
¸
f(x|θ) = 0
¿∂2lnf(x|θ)
∂θi∂θj À
+
¿∂lnf(x|θ)
∂θi
∂lnf(x|θ)
∂θj À
= 0 (7.12)
となることから,m行m列の行列Iを I ≡ −
¿∂2lnf(x|θ)
∂θ∂tθ À
=
¿∂lnf(x|θ)
∂θ
∂lnf(x|θ)
∂tθ À
Iij ≡ −
¿∂2lnf(x|θ)
∂θi∂θj
À
=
¿∂lnf(x|θ)
∂θi
∂lnf(x|θ)
∂θj
À
(7.13) のように定めることができる. (mは理論のパラメータの個数であった. )
ここで(7.11)を考慮すると, I =
¿∂lnf(x|θ)
∂θ
∂lnf(x|θ)
∂tθ À
=
¿·∂lnf(x|θ)
∂θ −
¿∂lnf(x|θ)
∂θ
À¸ ·∂lnf(x|θ)
∂tθ −
¿∂lnf(x|θ)
∂tθ
À¸À
= V
µ∂lnf(x|θ)
∂θ
¶
(7.14) となることから,行列Iは, ∂lnf(x|θ)
∂θ の分散共分散行列であることが分かる.
f(x|θ)は,理論のパラメータθを固定して見ると,データxの従う確率分布関数であるが,データ xを定数として,θの関数として見たときには,理論のパラメータθについて,何らかの情報を持った 量だと思うことができる. 後者の見方で見たときのf(x|θ)を改めて,L(θ|x)と書き,尤度関数と呼 ぶ. 35 このL(θ|x)を用いて書いたときの行列I をF と書いて, Fisher Information Matrix(フィッ シャー情報行列)と呼ぶ.
F = −
¿∂2lnL(θ|x)
∂θ∂tθ À
Fij = −
¿∂2lnL(θ|x)
∂θi∂θj
À
(7.15) 次に,不偏推定量の定義式(7.10)をパラメータθlで微分することにより,
Z
dnxθˆk(x)∂f(x|θ)
∂θl =δkl⇔ Z
dnxθˆk(x)∂lnf(x|θ)
∂θl f(x|θ) =δkl (7.16) となる. この式から,θk×(7.11)を辺々引くと,
Z dnx
hθˆk(x)−θk
i∂lnf(x|θ)
∂θl
f(x|θ) =δkl→¿h
θˆk(x)−θk
i∂lnf(x|θ)
∂θl
À
=δkl (7.17)
35Lはlikelihood=尤度の頭文字である.
となるが,ここで相互共分散行列の定義(7.5)及び, (7.11), (7.10)を考慮すると,上式は, Cov
µ
θ,ˆ ∂lnf(x|θ)
∂θ
¶
=
¿hˆθ−D θˆ
Ei ·∂lnf(x|θ)
∂tθ −
¿∂lnf(x|θ)
∂tθ
À¸À
=1m
Cov µ
θ,ˆ ∂lnf(x|θ)
∂θ
¶
kl
=
¿hθˆk−D θˆk
Ei ·∂lnf(x|θ)
∂θl −
¿∂lnf(x|θ)
∂θl
À¸À
=δkl (7.18) のように表すことができる. ここで1mはm次の単位行列である. 次に,
A(x) =
à θˆ
∂lnf(x|θ)
∂θ
!
(7.19) という2m次元のベクトルを定義する. 相互共分散行列の定義(7.5)と分散共分散行列の定義(7.6)に 注意すると,Aの分散共分散行列は,
V (A) =
[A− 〈A〉]t[A− 〈A〉]®
=
V
³ˆθ
´
Cov µ
θ,ˆ ∂lnf(x|θ)
∂θ
¶
Cov
µ∂lnf(x|θ)
∂θ ,θˆ
¶ V
µ∂lnf(x|θ)
∂θ
¶
(7.20)
のように分解して書けることが分かる. 各ブロックのサイズはm×mである. さらに(7.14) (あるい は(7.15))及び(7.18)を考慮すると,Aの分散共分散行列は,
V (A) = Ã
V
³θˆ
´ 1m
1m F
!
(7.21) となる. V (A)は,分散共分散行列であったので, (半)正定値行列である. すなわち任意のベクトル U ∈R2mに対して,
tUV (A)U ≥0 (7.22)
が成り立つ. 任意のベクトルu,v ∈Rmを用いて, U =
à u v
!
(7.23) のように書けば, (7.22)は,
¡t
utv¢Ã V
³ˆθ
´ 1m 1m F
! Ã u v
!
≥ 0
⇔tuV
³θˆ
´
u+tuv+tvu+tvFv ≥ 0 (7.24)
のように表すことができる. (7.24)の左辺をg(u,v)とおくと,g(u,v)は g(u,v) = tuV
³θˆ
´
u+tuv+tvu+tvFv
= tu
³ V
³θˆ
´−F−1
´ u+t¡
v+F−1u¢ F¡
v+F−1u¢
(7.25) のように変形することができる.36 ここで, Fisher Information Matrix F は, (7.14), (7.15)より,
∂lnf(x|θ)
∂θ の分散共分散行列であったので,正定値行列であるとしてよい. 従ってFは正則であり,逆
36Fisher Information Matrixは定義から対称行列`
F =tF´
であることを式変形の途中で考慮した.
行列F−1が存在するとしてg(u,v)を変形した. (7.25)の第二項は,Fの正定値性から,v+F−1u=0 のときに最小値0をとる. 一方で, (7.24)のように任意のu,v ∈ Rmに対して,g(u,v) ≥0である. このことから,
tu
³ V
³ˆθ
´−F−1
´
u≥0, ∀u∈Rm (7.26)
が成り立つことが分かる. すなわちV
³θˆ
´−F−1は(半)正定値行列である. (7.26)は,クラメール -ラオの不等式と呼ばれる. 特に,u=ei 37の場合を考えると, (7.26)から,
Vii
³ˆθ
´≥¡ F−1¢
ii, 1≤i≤m (7.27)
という関係式が得られることが分かる. ここで, 分散共分散行列の対角成分Vii
³ˆθ
´
は, 不偏推定量 θˆi(x)の分散
¿³θˆi−D θˆi
E´2À
であったことに注意すると, (7.27)はθˆiの最小分散限界を表している と言える. 特に最小分散限界を実現する不偏推定量のことを有効推定量と呼ぶ. 以上のことから,不 偏推定量の場合の最小分散限界を求めるには, Fisher Information Matirxを計算して,その逆行列の 対角成分を求めればよいことが分かる. 後の計算では,理論のパラメータの最小分散限界¡
F−1¢
iiを 求めることになる.