(b)の意味で,(a)のδ∗(T)を 一意なUMVU推定量と呼ぶ.
Proof. (a). δ(X)をg(θ)の不偏推定量とする.このとき,Varθ(δ∗(T))≤Varθ(δ(X))∀θ∈ Θを示せばよい.η(T) =E[δ(X)|T]とおくと,Rao-Blackwellの定理より,Varθ(η(T))≤ Varθ(δ(X))である.ここで,∀θ∈Θに対して,
Eθ[η(T)−δ∗(T)] =Eθ[η(T)]−Eθ[δ∗(T)] =g(θ)−g(θ) = 0
であるから,T の完備性より,Pθ(η(T) =δ∗(T)) = 1 ∀θ∈Θである.以上より,
Varθ(δ∗(T)) = Varθ(η(T))≤Varθ(δ(X)) を得る.
(b). (a)の証明において,δ(X)をg(θ)のUMVU推定量とする.Pθ(η(T) =δ∗(T)) = 1 であったから,Pθ(δ(X) =η(T)) = 1を示せばよい.ここで,
{δ(X)−g(θ)}2 ={δ(X)−η(T) +η(T)−g(θ)}2
={η(T)−g(θ)}2+ 2{η(T)−g(θ)}{δ(X)−η(T)}+{δ(X)−η(T)}2.
両辺の期待値をとると,η(T) =E[δ(X)|T]だったから,条件付き期待値の性質より17, Eθ[{η(T)−g(θ)}{δ(X)−η(T)}] =Eθ[{η(T)−g(θ)}E[{δ(X)−η(T)} |T]] = 0 となる.よって,
Varθ(δ(X)) = Varθ(η(T)) +Eθ[{δ(X)−η(T)}2].
δ(X)はUMVUだったから,Varθ(δ(X)) = Varθ(δ∗(T)) = Varθ(η(T))であり,従って,
Eθ[{δ(X)−η(T)}2] = 0を得る.以上より,Pθ(δ(X) =η(T)) = 1が示された.
Example 3.9. θ ∈Θ = (0,1)に対して,X1, . . . , Xn ∼ Bin(1, θ) i.i.d.とする.このと き,T =∑n
i=1Xi ∼Bin(n, θ)は十分統計量であった.T の完備性を示す.φ:R→Rを 0 =Eθ[φ(T)] =
∑n t=0
φ(t) (n
t )
θt(1−θ)n−t, ∀θ∈(0,1) をみたす関数とする.両辺を(1−θ)nで割って,ψ(t) =φ(t)(n
t
), r=θ/(1−θ)とおくと,
∑n t=0
ψ(t)rt= 0, ∀r >0
となる.これから,ψ(0) =· · ·=ψ(n) = 0, i.e.,φ(0) =· · ·=φ(n) = 0を得る.
さらに,X =T /nはθの不偏推定量であるから,Xはθの一意なUMVU推定量である.
17Xが連続のときは測度論の議論が必要になる.
Example 3.10. θ ∈ Θ = Rに対して,X1, . . . , Xn ∼ N(θ,1)とする.このとき,T =
√nX ∼N(√
nθ,1)は十分統計量であった.Tの完備性を示す.φ:R→Rを 0 =Eθ[φ(T)] = 1
√2π
∫
φ(t)e−(t−√nθ)2/2dt, ∀θ∈R (*) をみたす関数とする.φは連続と仮定しておこう.
(*)⇔
∫
{φ(t)e−t2/2}eθtdt= 0, ∀θ∈R.
さらに,ψ(t) =φ(t)e−t2/2とおくと,
∫
ψ+(t)eθtdt=
∫
ψ−(t)eθtdt, ∀θ∈R (**) となる.θ= 0として,
c:=
∫
ψ+(t)dt=
∫
ψ−(t)dt≥0.
c= 0なら,ψ+(t) =ψ−(t) = 0∀t∈Rとなるから,φ≡0を得る.c >0なら,ψ+/c, ψ−/c は確率密度関数であって,(**)はそれらのモーメント母関数が一致していることを意味す る.モーメント母関数と分布は1対1に対応しているから,
∫ t
−∞
ψ+(s)ds=
∫ t
−∞
ψ−(s)ds, ∀t∈R
を得る.両辺をtについて微分して,ψ+(t) =ψ−(t)∀t∈R, i.e., φ≡0を得る.φが連続 でなくても,“ほとんどすべての”t∈Rに対してφ(t) = 0となることが示せる(Lebesgue の微分定理による).これから,Tの完備性が従う.
さらに,X=n−1/2Tはθの不偏推定量であるから,一意なUMVU推定量である.
Remark 3.4. 十分統計量は余計な統計量を加えても十分統計量のままだが(これは因子 分解定理より明らか),完備性は崩れる.上の正規分布の例だと,(X, X1−X)は十分統計 量だが,完備でない.完備でないことは,Eθ[X1−X] = 0∀θ∈Rとなることからわかる.
もっと一般に指数型分布族に対して,完備十分統計量の存在が示される.pθが pθ(u) =h(u) exp
∑m j=1
ξj(θ)Sj(u)−c(θ)
, u∈ X
の形に表せるとき,{pθ:θ∈Θ}はmパラメータの 指数型分布族(exponential family)を なすという.2項分布,Poisson分布,正規分布,ガンマ分布,ベータ分布などは指数型分 布族をなす.なお,e−c(θ)は∫
pθ(u)du= 1をみたすための正規化定数であって,
ec(θ)=
∫
h(u)e∑mj=1ξj(θ)Sj(u)du
である.また,指数部分は正であるから,
{u∈ X :pθ(u)>0}={u∈ X :h(u)>0} であって,右辺はθに依存しない.
このとき,X = (X1′, . . . , Xn′)′の同時確率(密度)関数は pnθ(x) =
( n
∏
i=1
h(xi) )
exp
∑m j=1
ξj(θ) ( n
∑
i=1
Sj(xi) )
−nc(θ)
, x= (x′1, . . . , x′n)′ ∈ Xn である.ここで,
H(x) =
∏n i=1
h(xi), C(θ) =nc(θ), ξ(θ) = (ξ1(θ), . . . , ξm(θ))′,
T(x) = (T1(x), . . . , Tm(x))′ = ( n
∑
i=1
S1(x1), . . . ,
∑n i=1
Sm(xn) )′
とおくと,
pnθ(x) =H(x) exp{
ξ(θ)′T(x)−C(θ)}
, x∈ Xn (*3)
と表せる.よって,{pnθ :θ∈Θ}も指数型分布族をなす.また,因子分解定理より,T = T(X)は十分統計量である.
Theorem 3.4. pnθ を(*3)の形の確率(密度)関数とし,Ξ ={ξ(θ) :θ∈Θ} ⊂Rmの内部 は空でないとする.このとき,T はθに対する完備十分統計量である.
Remark 3.5. ξ ∈Ξを 自然パラメータ(natural parameter)と呼ぶ.
Proof. m= 1かつpnθ が確率関数のときに定理を証明する.
{x:H(x)>0}={x(1), x(2), . . .} とおくと,T =T(X)の確率関数は,
pTθ(t) = ∑
ν:T(x(ν))=t
pnθ(x(ν)) =eξ(θ)t−C(θ) ∑
ν:T(x(ν))=t
H(x(ν))
| {z }
=G(t)
と表せる.ここで,Tのとりうる値を
{T(x(ν)) :ν= 1,2, . . .}={t(ν) :ν = 1,2, . . .} とおき,φ:R→Rを ∑
ν
φ(t(ν))pTθ(t(ν)) = 0, ∀θ∈Θ (*3)
をみたす関数とする.このとき,φ(t(ν)) = 0 ∀ν = 1,2, . . . を示せばよい.Ξの内部は空 でないから,必要なら平行移動させて,Ξは原点の開近傍を含むと仮定してよい.ここで,
(∗3)⇔∑
ν
φ(t(ν))eξt(ν)G(t(ν)) = 0, ∀ξ∈Ξ
⇔∑
ν
φ+(t(ν))G(t(ν))
| {z }
ψ+(t(ν))
eξt(ν)=∑
ν
φ−(t(ν))G(t(ν))
| {z }
=ψ−(t(ν))
eξt(ν), ∀ξ ∈Ξ
であり,ξ = 0として, ∑
ν
ψ+(t(ν)) =∑
ν
ψ−(t(ν)) =:c
を得る.c = 0なら,ψ+(t(ν)) = ψ−(t(ν)) = 0 ∀ν = 1,2, . . . であって,これから,
φ(t(ν)) = 0 ∀ν = 1,2, . . . を得る.c > 0なら,ψ+(t(ν))/c, ψ−(t(ν))/c, ν = 1,2, . . . は確率関数であって,それらのモーメント母関数が一致している.よって,ψ+(t(ν)) = ψ−(t(ν))∀m= 1,2, . . . であって,これはφ(t(ν)) = 0 ∀ν= 1,2, . . . を意味する.
Example 3.11. µ∈R, σ2 >0に対して,X1, . . . , Xn∼N(µ, σ2) i.i.d.とすると(n≥2), X= (X1, . . . , Xn)′の同時密度は,
pnθ(x) = exp {µ
σ2
∑n i=1
xi− 1 2σ2
∑n i=1
x2i − n
2σ2µ2−n
2log(2πσ2) }
であって,指数型分布族をなす.ここで,自然パラメータのパラメータ空間は {(µ/σ2,−1/2σ2) :µ∈R, σ2 >0}=R×(−∞,0)
であって,その内部は空でないから,(∑n
i=1Xi,∑n
i=1Xi2)は完備十分統計量であって,そ の1対1変換(X, S2)も完備十分統計量である.よって,Xはµの一意なUMVU推定量 であり,S2はσ2の一意なUMVU推定量である.
これらは自然な推定量といえる.次に,µ2の推定を考えてみよう.このとき,E(µ,σ2)[X2] = µ2+σ2/nであるから,
δ∗(X, S2) =X2−S2/n
がµ2の一意なUMVU推定量である.しかし,δ∗(X, S2)は正の確率で負になるので,µ2 の推定量として不合理である.このように,不偏性にこだわると,不合理な推定量が得ら れてしまうこともある.
正規分布の例において,µとσ2の間になんらかの関係がある場合は,(X, S2)は完備に ならない.
Example 3.12. X1, . . . , Xn∼N(θ, θ2) i.i.d., θ >0とする.このとき,因子分解定理よ
り,(X, S2)は十分統計量であるが,完備でない.実際,
Eθ [
X2−n+ 1 n S2
]
= 0
だが,X2− {(n+ 1)/n}S2は確率1で0でない.
Poisson分布やガンマ分布に対しても,Theorem 3.4が適用できる.しかし,Theorem 3.4は指数型でない分布族に対しては適用できない.そのような場合でも,十分統計量の 完備性を直接確認できる場合がある.
Example 3.13. θ >0に対して,X1, . . . , Xn∼U(0, θ) i.i.d.とすると,X(n)はθに対す る十分統計量であった.X(n)の完備性を示そう.{U(0, θ) :θ >0}は指数型分布族でない ので,Theorem 3.4は適用できない.0< t < θに対して,
Pθ(X(n)≤t) =Pθ(Xi ≤t, 1≤ ∀i≤n) = (t/θ)n であるから,X(n)の密度関数は,
fθ(t) = ntn−1
θn I(0< t < θ) である.いま,φ:R→Rを
Eθ[φ(T)] = 0, ∀θ >0⇔
∫ θ 0
φ(t)tn−1dt= 0, ∀θ >0
をみたす関数とする.φが連続なら,両辺をθについて微分して,φ(θ) = 0 ∀θ >0を得 る.φが連続でなくても,“ほとんどすべての”t∈(0,∞)に対してφ(t) = 0となることが 示せるので,X(n)の完備性が従う.
さらに,
Eθ[X(n)] = n θn
∫ θ 0
tndt= n n+ 1θ であるから,
δ∗(X(n)) = n+ 1 n X(n) がθの一意なUMVU推定量である.