• 検索結果がありません。

不偏推定

ドキュメント内 mathematical statistics v4 (ページ 86-91)

(b)の意味で,(a)のδ(T)を 一意なUMVU推定量と呼ぶ.

Proof. (a). δ(X)をg(θ)の不偏推定量とする.このとき,Varθ(T))≤Varθ(δ(X))∀θ∈ Θを示せばよい.η(T) =E[δ(X)|T]とおくと,Rao-Blackwellの定理より,Varθ(η(T))≤ Varθ(δ(X))である.ここで,∀θ∈Θに対して,

Eθ[η(T)−δ(T)] =Eθ[η(T)]−Eθ(T)] =g(θ)−g(θ) = 0

であるから,T の完備性より,Pθ(η(T) =δ(T)) = 1 ∀θ∈Θである.以上より,

Varθ(T)) = Varθ(η(T))≤Varθ(δ(X)) を得る.

(b). (a)の証明において,δ(X)をg(θ)のUMVU推定量とする.Pθ(η(T) =δ(T)) = 1 であったから,Pθ(δ(X) =η(T)) = 1を示せばよい.ここで,

{δ(X)−g(θ)}2 ={δ(X)−η(T) +η(T)−g(θ)}2

={η(T)−g(θ)}2+ 2{η(T)−g(θ)}{δ(X)−η(T)}+{δ(X)−η(T)}2.

両辺の期待値をとると,η(T) =E[δ(X)|T]だったから,条件付き期待値の性質より17, Eθ[{η(T)−g(θ)}{δ(X)−η(T)}] =Eθ[{η(T)−g(θ)}E[{δ(X)−η(T)} |T]] = 0 となる.よって,

Varθ(δ(X)) = Varθ(η(T)) +Eθ[{δ(X)−η(T)}2].

δ(X)はUMVUだったから,Varθ(δ(X)) = Varθ(T)) = Varθ(η(T))であり,従って,

Eθ[{δ(X)−η(T)}2] = 0を得る.以上より,Pθ(δ(X) =η(T)) = 1が示された.

Example 3.9. θ ∈Θ = (0,1)に対して,X1, . . . , Xn ∼ Bin(1, θ) i.i.d.とする.このと き,T =∑n

i=1Xi ∼Bin(n, θ)は十分統計量であった.T の完備性を示す.φ:R→Rを 0 =Eθ[φ(T)] =

n t=0

φ(t) (n

t )

θt(1−θ)nt, ∀θ∈(0,1) をみたす関数とする.両辺を(1−θ)nで割って,ψ(t) =φ(t)(n

t

), r=θ/(1−θ)とおくと,

n t=0

ψ(t)rt= 0, ∀r >0

となる.これから,ψ(0) =· · ·=ψ(n) = 0, i.e.,φ(0) =· · ·=φ(n) = 0を得る.

さらに,X =T /nはθの不偏推定量であるから,Xはθの一意なUMVU推定量である.

17Xが連続のときは測度論の議論が必要になる.

Example 3.10. θ ∈ Θ = Rに対して,X1, . . . , Xn ∼ N(θ,1)とする.このとき,T =

√nX ∼N(√

nθ,1)は十分統計量であった.Tの完備性を示す.φ:R→Rを 0 =Eθ[φ(T)] = 1

√2π

φ(t)e(tnθ)2/2dt, ∀θ∈R (*) をみたす関数とする.φは連続と仮定しておこう.

(*)⇔

{φ(t)et2/2}eθtdt= 0, ∀θ∈R.

さらに,ψ(t) =φ(t)et2/2とおくと,

ψ+(t)eθtdt=

ψ(t)eθtdt, ∀θ∈R (**) となる.θ= 0として,

c:=

ψ+(t)dt=

ψ(t)dt≥0.

c= 0なら,ψ+(t) =ψ(t) = 0∀t∈Rとなるから,φ≡0を得る.c >0なら,ψ+/c, ψ/c は確率密度関数であって,(**)はそれらのモーメント母関数が一致していることを意味す る.モーメント母関数と分布は1対1に対応しているから,

t

−∞

ψ+(s)ds=

t

−∞

ψ(s)ds, ∀t∈R

を得る.両辺をtについて微分して,ψ+(t) =ψ(t)∀t∈R, i.e., φ≡0を得る.φが連続 でなくても,“ほとんどすべての”t∈Rに対してφ(t) = 0となることが示せる(Lebesgue の微分定理による).これから,Tの完備性が従う.

さらに,X=n1/2Tはθの不偏推定量であるから,一意なUMVU推定量である.

Remark 3.4. 十分統計量は余計な統計量を加えても十分統計量のままだが(これは因子 分解定理より明らか),完備性は崩れる.上の正規分布の例だと,(X, X1−X)は十分統計 量だが,完備でない.完備でないことは,Eθ[X1−X] = 0∀θ∈Rとなることからわかる.

もっと一般に指数型分布族に対して,完備十分統計量の存在が示される.pθが pθ(u) =h(u) exp



m j=1

ξj(θ)Sj(u)−c(θ)



, u∈ X

の形に表せるとき,{pθ:θ∈Θ}mパラメータの 指数型分布族(exponential family)を なすという.2項分布,Poisson分布,正規分布,ガンマ分布,ベータ分布などは指数型分 布族をなす.なお,ec(θ)は∫

pθ(u)du= 1をみたすための正規化定数であって,

ec(θ)=

h(u)emj=1ξj(θ)Sj(u)du

である.また,指数部分は正であるから,

{u∈ X :pθ(u)>0}={u∈ X :h(u)>0} であって,右辺はθに依存しない.

このとき,X = (X1, . . . , Xn)の同時確率(密度)関数は pnθ(x) =

( n

i=1

h(xi) )

exp



m j=1

ξj(θ) ( n

i=1

Sj(xi) )

−nc(θ)



, x= (x1, . . . , xn) ∈ Xn である.ここで,

H(x) =

n i=1

h(xi), C(θ) =nc(θ), ξ(θ) = (ξ1(θ), . . . , ξm(θ)),

T(x) = (T1(x), . . . , Tm(x)) = ( n

i=1

S1(x1), . . . ,

n i=1

Sm(xn) )

とおくと,

pnθ(x) =H(x) exp{

ξ(θ)T(x)−C(θ)}

, x∈ Xn (*3)

と表せる.よって,{pnθ :θ∈Θ}も指数型分布族をなす.また,因子分解定理より,T = T(X)は十分統計量である.

Theorem 3.4. pnθ を(*3)の形の確率(密度)関数とし,Ξ ={ξ(θ) :θ∈Θ} ⊂Rmの内部 は空でないとする.このとき,T はθに対する完備十分統計量である.

Remark 3.5. ξ ∈Ξを 自然パラメータ(natural parameter)と呼ぶ.

Proof. m= 1かつpnθ が確率関数のときに定理を証明する.

{x:H(x)>0}={x(1), x(2), . . .} とおくと,T =T(X)の確率関数は,

pTθ(t) = ∑

ν:T(x(ν))=t

pnθ(x(ν)) =eξ(θ)tC(θ)

ν:T(x(ν))=t

H(x(ν))

| {z }

=G(t)

と表せる.ここで,Tのとりうる値を

{T(x(ν)) :ν= 1,2, . . .}={t(ν) :ν = 1,2, . . .} とおき,φ:R→Rを ∑

ν

φ(t(ν))pTθ(t(ν)) = 0, ∀θ∈Θ (*3)

をみたす関数とする.このとき,φ(t(ν)) = 0 ∀ν = 1,2, . . . を示せばよい.Ξの内部は空 でないから,必要なら平行移動させて,Ξは原点の開近傍を含むと仮定してよい.ここで,

(∗3)⇔∑

ν

φ(t(ν))eξt(ν)G(t(ν)) = 0, ∀ξ∈Ξ

⇔∑

ν

φ+(t(ν))G(t(ν))

| {z }

ψ+(t(ν))

eξt(ν)=∑

ν

φ(t(ν))G(t(ν))

| {z }

(t(ν))

eξt(ν), ∀ξ ∈Ξ

であり,ξ = 0として, ∑

ν

ψ+(t(ν)) =∑

ν

ψ(t(ν)) =:c

を得る.c = 0なら,ψ+(t(ν)) = ψ(t(ν)) = 0 ∀ν = 1,2, . . . であって,これから,

φ(t(ν)) = 0 ∀ν = 1,2, . . . を得る.c > 0なら,ψ+(t(ν))/c, ψ(t(ν))/c, ν = 1,2, . . . は確率関数であって,それらのモーメント母関数が一致している.よって,ψ+(t(ν)) = ψ(t(ν))∀m= 1,2, . . . であって,これはφ(t(ν)) = 0 ∀ν= 1,2, . . . を意味する.

Example 3.11. µ∈R, σ2 >0に対して,X1, . . . , Xn∼N(µ, σ2) i.i.d.とすると(n≥2), X= (X1, . . . , Xn)の同時密度は,

pnθ(x) = exp {µ

σ2

n i=1

xi− 1 2σ2

n i=1

x2i − n

2µ2−n

2log(2πσ2) }

であって,指数型分布族をなす.ここで,自然パラメータのパラメータ空間は {(µ/σ2,−1/2σ2) :µ∈R, σ2 >0}=R×(−∞,0)

であって,その内部は空でないから,(∑n

i=1Xi,∑n

i=1Xi2)は完備十分統計量であって,そ の1対1変換(X, S2)も完備十分統計量である.よって,Xはµの一意なUMVU推定量 であり,S2はσ2の一意なUMVU推定量である.

これらは自然な推定量といえる.次に,µ2の推定を考えてみよう.このとき,E(µ,σ2)[X2] = µ22/nであるから,

δ(X, S2) =X2−S2/n

がµ2の一意なUMVU推定量である.しかし,δ(X, S2)は正の確率で負になるので,µ2 の推定量として不合理である.このように,不偏性にこだわると,不合理な推定量が得ら れてしまうこともある.

正規分布の例において,µとσ2の間になんらかの関係がある場合は,(X, S2)は完備に ならない.

Example 3.12. X1, . . . , Xn∼N(θ, θ2) i.i.d., θ >0とする.このとき,因子分解定理よ

り,(X, S2)は十分統計量であるが,完備でない.実際,

Eθ [

X2−n+ 1 n S2

]

= 0

だが,X2− {(n+ 1)/n}S2は確率1で0でない.

Poisson分布やガンマ分布に対しても,Theorem 3.4が適用できる.しかし,Theorem 3.4は指数型でない分布族に対しては適用できない.そのような場合でも,十分統計量の 完備性を直接確認できる場合がある.

Example 3.13. θ >0に対して,X1, . . . , Xn∼U(0, θ) i.i.d.とすると,X(n)はθに対す る十分統計量であった.X(n)の完備性を示そう.{U(0, θ) :θ >0}は指数型分布族でない ので,Theorem 3.4は適用できない.0< t < θに対して,

Pθ(X(n)≤t) =Pθ(Xi ≤t, 1≤ ∀i≤n) = (t/θ)n であるから,X(n)の密度関数は,

fθ(t) = ntn1

θn I(0< t < θ) である.いま,φ:R→Rを

Eθ[φ(T)] = 0, ∀θ >0⇔

θ 0

φ(t)tn1dt= 0, ∀θ >0

をみたす関数とする.φが連続なら,両辺をθについて微分して,φ(θ) = 0 ∀θ >0を得 る.φが連続でなくても,“ほとんどすべての”t∈(0,∞)に対してφ(t) = 0となることが 示せるので,X(n)の完備性が従う.

さらに,

Eθ[X(n)] = n θn

θ 0

tndt= n n+ 1θ であるから,

δ(X(n)) = n+ 1 n X(n) がθの一意なUMVU推定量である.

ドキュメント内 mathematical statistics v4 (ページ 86-91)