第 6 章

 問1. 自然母数ηと期待値母数E[t(X)]の値 (1) Bin(n, p): (

n x

)

p^x(1−p)^n−x = (n

x )

(1−p)ⁿexp{xlog p 1−p} より，η= log(p/(1−p)), E[X] =np

(2) P o(λ):

λ^x

x!e^−λ = 1

x!e^−λexp{xlogλ} より，η= logλ,E[X] =λ

(3) Geo(p):

p(1−x)^x=pexp{xlog(1−p)} より，η= log(1−p), E[X] = (1−p)/p

(4) N B(r, p): (

r+x−1 x

)

p^r(1−p)^x=

(r+x−1 x

)

p^rexp{xlog(1−p)} より，η= log(1−p), E[X] =r(1−p)p

(5) N(µ, σ²):

√1

2πσe^{−(x−µ)2/(2σ2)}= 1

√2π 1

σe^{−µ2/(2σ2)}exp{µ

σ²x− 1 2σ²x²} より，(η₁, η₂) = (µ/σ²,−1/(2σ²)), (E[X], E[X²]) = (µ, µ²+σ²)

(6) Ga(α, β):

1 Γ(α)

1

β^αx^α−1e^−x/β = 1 x

1

Γ(α)β^α exp{αlogx− 1 βx} より，(η₁, η₂) = (α,−1/β), (E[logX], E[X]) =ψ(α) + logβ, αβ)となる。ここで，

ψ(α) = d

dαlog Γ(α)

であり，digamma function（ダイガンマ関数）という。E[logX]を求めるには，スコアー関数を利用する。

対数尤度関数は

ℓ(α, β|x) =−log Γ(α)−αlogβ+ (α−1) logx−x/β と書けるので，これをαで偏微分すると，αに関するスコア関数はｂ

∂

∂αℓ(α, β|x) =−ψ(α)−logβ+ logx

となる。命題6.17(1)の証明と同様にしてスコア関数の期待値は0になる。すなわち 0 =E[ ∂

∂αℓ(α, β|X)] =−ψ(α)−logβ+E[logX]

となるので，E[logX] =ψ(α) + logβとなる。

(7) Beta(a, b):

1

Beta(α, β)x^α−1(1−x)^β−1 = 1 x(1−x)

Γ(α+β)

Γ(α)Γ(β)exp{αlogx+βlog(1−x)}

より，(η₁, η₂) = (a, b), (E[logX], E[log(1−X)]) = (ψ(α)−ψ(α+β), ψ(β)−ψ(α+β))となる。実際，対 数尤度は

ℓ(α, β|x) = log Γ(α+β)−log Γ(α)−log Γ(β)−logx(1−x) +αlogx+βlog(1−x) と書けるので，このスコア関数は

∂

∂αℓ(α, β|x) =ψ(α+β)−ψ(α) + logx,

∂

∂βℓ(α, β|x) =ψ(α+β)−ψ(β) + log(1−x) となる。このことから，E[logX],E[log(1−X)]の値が求まる。

 問2. ∏n

i=1f(x_i |θ) =θⁿ(∏n

i=1x_i)^θ−1 =θⁿexp{(θ−1)∑n

i=1logx_i}と書けるので，因子分解定理よ りθの十分統計量は∏n

i=1x_iもしくは∑n

i=1logX_iとなる。また対数尤度は ℓ(θ|x₁, . . . , x_n) =nlogθ+ (θ−1)

∑n

i=1

logx_i と書けるので，θに関して微分すると，尤度方程式は

d

dθℓ(θ|x₁, . . . , x_n) = n θ +

∑n

i=1

logx_i = 0 となるので，θのMLEはθˆ=−n/∑n

i=1logX_iとなり,ξ= 1/θのMLEは, ˆξ^{M L} =−n⁻¹∑n

i=1logX_iとな ることがわかる。

Y₁=−logX₁とおくと，E[Y₁] =ξ,E[Y₁²] = 2ξ²となるので，Var(Y₁) =ξ²となる。従って，

Var( ˆξ^{M L}) = Var(n⁻¹

∑n

i=1

Y_i) = Var(Y₁)/n=ξ²/n

1.2. 演習問題の略解 35 と書けるので，分散は0に収束する。

 問 3. ∏n

i=1f(x_i|θ) = θⁿexp{−(θ + 1)∑n

i=1log(1 + x_i)}と書けるので，因子分解定理よりT =

∑n

i=1log(1 +X_i)がθの十分統計量になる。また，

E[log(1 +X₁)] =

∫ _∞

0 {log(1 +x)} θ

(1 +x)^θ+1dx=

∫ _∞

0

1

(1 +x)^θ+1dx= 1 θ より，E[T] =n/θとなる。また

E[{log(1 +X₁)}²] =

∫ _∞

0 {log(1 +x)}² θ

(1 +x)^θ+1dx= 2

∫ _∞

0 {log(1 +x)} 1

(1 +x)^θ+1dx= 2 θ² より，

E[T²] =nE[{log(1 +X₁)}²] +n(n−1)E[log(1 +X₁)]E[log(1 +X₂)] = n²+n θ² となる。従って，

Var(T) = n²+n θ² −n²

θ² = n θ² となる。

 問4. (1) T =X_(n) がθの十分条件になることは，p.118,例6.4で示されている。

(2)f_X(n)(x) = (n/θⁿ)xⁿ⁻¹, 0< x < θ,より，E[X_(n)] ={n/(n+1)}θとなるので，θˆ^U1 = [(n+1)/n]X_(n) が不偏推定量になる。またE[X] = θ/2より，θˆ^U2 = 2Xも不偏推定量になる。E[X_(n)² ] ={n/(n+ 2)}θ² より，M SE(θ,θˆ^U1) =θ²/[n(n+ 2)]となる。また M SE(θ,θˆ^U2) =θ²/(3n)となるので,M SE(θ,θˆ^U2) ≥ M SE(θ,θˆ^U1) なる大小関係が成り立つ。

(3) 尤度関数はθ⁻ⁿI(x₍₁₎>0)I(x_(n) < θ)より，θのMLEはθˆ^{M L} =X_(n)となる。また，Bias(ˆθ^{M L}) =

−(n+ 1)⁻¹θ,M SE(θ,θˆ^{M L}) = 2[(n+ 1)(n+ 2)]⁻¹θ²となる。

 問5. 対数尤度は

ℓ(p₁, . . . , p_k|x) = logn!−logx₁!− · · · −logx_k! +x₁logp₁+· · ·+x_klogp_k

と書けるので，p₁+· · ·+p_k= 1なる制約の下で対数尤度を最大にするp_iを求めることになる。ラグラン ジェの未定乗数法により

H(p1, . . . , p_k) =ℓ(p1, . . . , p_k|x)−λ(p1+· · ·+p_k−1) とおき，p_iで偏微分すると，

∂

∂pi

H(p₁, . . . , p_k) = x_i pi −λ

となる。(∂/∂pi)H(p1, . . . , p_k) = 0の解はpi = xi/λとなるので，これを制約式に代入すると，1 = p1 +

· · ·+p_k= (x₁+· · ·+x_k)/λ=n/λとなので，λ=nが得られる。従って，p_iのMLEはpˆ_i =X_i/nとなる。

 問6. f(x|η) =h(x)c^∗(η) exp{∑k

j=1η_jt_j(x)}^より

∂

∂ηi

f(x|η) ={t_i(x) + ∂

∂ηi

logc^∗(η)}f(x|η) となることに注意する。1 =∫

f(x|η)dxの両辺をη_j で偏微分すると，

0 =

∫

{t_i(x) + ∂

∂ηi

logc^∗(η)}f(x|η)dx となるので，

E[ti(X)] =− ∂

∂η_i logc^∗(η)

が成り立つ。ちなみに，さらにη_jで偏微分すると 0 =∫ { ∂

∂η_i∂η_j logc^∗(η) +{t_i(x) + ∂

∂η_ilogc^∗(η)}{t_i(x) + ∂

∂η_j logc^∗(η)}}

f(x|η)dx と書けるので，

Cov(t_i(X), t_j(X)) =− ∂

∂η_i∂η_j logc^∗(η) となる。

X₁, . . . , X_nがf(x|η)からのランダム標本とする。x= (x₁, . . . , x_n)における対数尤度は ℓ(η|x) =

∑n

i=1

logh(x_i) +nlogc^∗(η) +

∑k

j=1

η_j

∑n

i=1

t_j(x_i) と書けるので，ηのMLEは

n ∂

∂η_alogc^∗(η) +

∑n

i=1

t_a(X_i) = 0, a= 1, . . . , k すなわち

1 n

∑n

i=1

t_a(X_i) =− ∂

∂η_alogc^∗(η), a= 1, . . . , k の解として与えられる。ηのモーメント推定量は

E[t_a(X)] =− ∂

∂η_alogc^∗(η), a= 1, . . . , k より，

1 n

∑n

i=1

t_a(X_i) =− ∂

∂η_alogc^∗(η), a= 1, . . . , k の解として与えられるので，MLEと一致することがわかる。

 問7. (1) ベイズの定理から事後分布を計算することになる。そのためには，f(x|p) ∼ Bin(n, p),

π(p)∼Beta(α, β)において同時確率f(x|p)π(p)をpについてのみ書き出し，そこからpの分布を見つけ出 していけばよい。X =xを与えたときのpの事後分布は

π(p|x) =f(x|x)π(p)/

∫ 1

0

f(x|x)π(p)dp

∝p^x(1−p)^n−xp^α1(1−p)^β−1

=p^(x+α)−1(1−p)^{(n−x+β)−1} より，π(p|x)∼Beta(x+α, n−x+β)となる。

(2) ベイズ推定量は事後分布の平均であるから ˆ

p^B =E[p|X] = (X+α)/(n+α+β) となる。これを変形すると与式が得られる。

 問8. (1) 因子分解定理を用いると， Y = X₁ +· · ·+X_nがλの十分統計量になることが確かめ

られる。Y の分布はP o(nλ)に従うことに注意する。事後分布は十分統計量の分布を考えればよいので，

f(y|λ)π(λ|α, β)についてλの部分のみを取り出すと f(y|λ)π(λ|α, β) = (nλ)^y

y! e^−nλ 1 Γ(α)

λ^α−1

β^α e^−λ/β ∝λ^y+α−1exp{−1 +nβ β λ} となる。これは，λの事後分布がλ|y∼Ga(y+α, β/(1 +nβ))に従うことを意味する。

1.2. 演習問題の略解 37 (2) λの事後分布がGa(y+α, β/(1 +nβ))に従うことから，E[λ|y] = (β(y+α)/(1 +nβ) = β(nβ + 1)⁻¹y+ (nβ+ 1)⁻¹αβ, Var(λ|y) = (y+α)β²/(nβ+ 1)²となる。

 問9. (1) E[∑k

j=1a_jθˆ_j] =∑k

j=1a_jθ=θより，不偏推定量になるための条件は∑n

j=1a_j = 1 となる。

(2) ∑n

j=1a_j = 1のもとで∑k

j=1a_jθˆ_j の分散は Var(

∑k

j=1

ajθˆj) =E[{

∑k

j=1

aj(ˆθj −θ)}²]

=

∑k

j=1

a²_jE[(ˆθj−θ)²] +

∑k

i=1

∑k

j=1,j̸=i

aiajCov(ˆθi,θˆj)

=

∑k

j=1

σ²_ja²_j と書ける。∑k

j=1aj = 1なる制約の下で分散を最小にする解を求めるにはラグランジュの未定乗数法を用 いる。

H(a₁, . . . , a_k) =

∑k

j=1

σ²_ja²_j −λ(

∑k

j=1

a_j−1) をa_iに関して偏微分すると

∂

∂ai

H(a₁, . . . , a_k) = 2σ_i²a_i−α, i= 1, . . . , k となるので，これを0とおくと

a_i = λ/2

σ²_i , i= 1, . . . , k が得られる。これを∑k

i=1a_i= 1に代入すると，λ/2 = 1/∑k

j=1σ⁻_j²となるので，結局 a_i= σ_i⁻²

∑k j=1σ⁻_j² となる。従って，最良線形不偏推定量(BLUE)は

θˆ^BLUE=

∑k

i=1

σ_i⁻²

∑k j=1σ⁻_j²

θˆ_i

で与えられる。またこのときの分散は,最適なaiの値を上の分散の式に代入することにより Var(ˆθ^BLUE) = 1

∑k j=1σ⁻_j² となる。

 問10. X₁, . . . , X_n, i.i.d.∼f(x|µ, σ)であり，

f(x|µ, σ) = 1

σ exp{−x−µ

σ }I(x > µ) である。

(1) xi−µ=xi−x₍₁₎+x₍₁₎−µと書けるので

∏n

i=1

f(xi|µ, σ) = 1

σⁿexp{−1 σ

∑n

i=1

(xi−µ)}I(x1 > µ, . . . , xn> µ)

= 1

σⁿexp{−n

σ(x₍₁₎−µ)− 1 σ

∑n

i=2

(x_(i)−x₍₁₎)}I(x₍₁₎ > µ)

= 1

σⁿexp{−n

σ(U−µ)− 1

σT}I(U > µ)

となる。因子分解定理より，(U, T)が(µ, σ)に対する十分統計量になることがわかる。

(2) 順序統計量の同時確率密度関数は f_{X(1),...,X(n)}(x₍₁₎, . . . , x_(n)) =n!× 1

σⁿexp{−n

σ(x₍₁₎−µ)− 1 σ

∑n

i=2

(x_(i)−x₍₁₎)}I(x₍₁₎ > µ) と書ける。ここで

z₁ = (x₍₁₎−µ)/σ, z₂ = (x₍₂₎−x₍₁₎)/σ, . . . , z_n= (x_(n)−x₍₁₎)/σ とおくと，z2< z3 <· · ·< znであり，ヤコビアン

J((z₁, . . . , z_n)→(x₍₁₎, . . . , x_(n))) =σⁿ となるので，z₁, . . . , z_nの同時確率密度関数は

f_z1,...,zn(z₁, . . . , z_n) =n! exp{−nz₁−

∑n

i=2

z_i}I(0< z₁)I(0< z₂ <· · ·z_n)

=ne^−nz1I(z1 >0)×(n−1)!e^−∑ni=2ziI(0< z2 <· · ·< zn)

と書ける。この表現は，z₁と(z₂, . . . , z_n)が独立であることを示している。従って，n(U −µ)/σ=nz₁と T /σ =∑n

i=2z_iは独立に分布する。n(U−µ)/σ∼Ex(1)となることは明らかなので，2T /σの分布を求め てみよう。

f(z2, . . . , zn) = (n−1)!e^−∑ni=2ziI(0< z2<· · ·< zn)より, 2T /σの積率母関数は E[e^{t2T /σ}] =E[e^2t∑ni=2zi] =

∫ _∞

0

dz₂

∫ _∞

z3

dz₃· · ·

∫ _∞

zn−1

dz_n(n−1)e^{−(1−2t)∑ni=2zi} と書ける。これをz_nから順に積分していくと

∫ _∞

zn−1

e^{−(1−2t)zn}dz_n= 1

1−2te^{−(1−2t)zn−1} となり，次にz_n−1に関して積分すると

∫ _∞

zn−2

e^{−2(1−2t)zn−1}dzn−1= 1

2(1−2t)e^{−2(1−2t)zn−2} となる。これを繰り返していくと

E[e^{t2T /σ}] = (n−1)! 1

(n−1)!(1−2t)ⁿ⁻¹ = 1 (1−2t)^2(n−1)/2 と書ける。これは，2T /σ∼χ²_2(n−1)に従うことを示している。

(3) T = nX −nX₍₁₎ と書けることに注意する。2T /σ ∼ χ²_2(n−1) より，E[2T /σ] = 2(n−1), すなわ ちE[T /(n−1)] = σと書けるので，σ の不偏推定量はσˆ = (X −X₍₁₎)n/(n−1)で与えられる。また E[n(U −µ)/σ] = 1より，E[U] =σ/n+µと書けるので，σの不偏推定量σˆを代入すると, µの不偏推定 量は

b

µ=U −σˆ

n =X₍₁₎−X−X₍₁₎

n−1 = nX₍₁₎−X n−1 となる。

 問11. (1) X∼Bin(n, p)において，pのMLEはpˆ=X/nとなるので，θ=p(1−p)のMLEは θˆ^{M L}= X

n(1−X

n) = X(n−X) n²

1.2. 演習問題の略解 39 となる。一方，命題3.1の証明よりE[X(X−1)] =n(n−1)p²よりE[X(X−1)/{n(n−1)}] =p²となる ので，θ=p(p−1) =p−p²の不偏推定量は

θˆ^U = X

n −X(X−1)

n(n−1) = X(n−X) n(n−1) となる。

(2) まず√

n(X/n−p) →d N(0, p(1−p))となることに注意する。θ=g(p) =p(1−p)よりデルタ法を 用いると，g^′(p) = 1−2pより，p̸= 1/2に対して

√n(ˆθ^{M L}−θ)→dN(0, p(1−p)(1−2p)²) となる。p(1−p)(1−2p)² =θ(1−4θ)と書いてもよい。一方，

θˆ^U = n

n−1θˆ^{M L}= ˆθ^{M L}+ 1 n−1θˆ^{M L} と書けるので，

√n(ˆθ^U−θ) =√

n(ˆθ^{M L}−θ) +

√n n−1θˆ^{M L} と表される。第１項は√

n(ˆθ^{M L} −θ) →d N(0, p(1−p)(1−2p)²) である。第２項については，θˆ^{M L} は θに確率収束し，√

n/(n−1) → 0より，第２項は0に確率収束する。従って，スラツキーの定理より，

√n(ˆθ^U −θ)→dN(0, θ(1−4θ))となる。

 問12. (1)Y =∑n

i=1X_iとおくと，M_Y(t) =E[e^tY] =E[e^{tX1+···+tXn}] ={E[e^tX1]}ⁿ ={M_X(t)}ⁿ = {e^λ(et−1)}ⁿ=e^nλ(et−1)となるので，Y ∼P o(nλ)となることがわかる。

(2) (d/dλ) logf(x|λ) =x/λ−1, (d²/dλ²) logf(x|λ) =−x/λ²となるので，I₁(λ) =E[X₁]/λ² = 1/λと なり，I_n(λ) =nI₁(λ) =n/λとなる。従って，クラメール・ラオの下限はVar(ˆθ)≥λ/nとなる。

(3) (d/dλ)ℓ(λ) =∑n

i=1x_i/λ−nより，(d/dλ)ℓ(λ) = 0を解いて，λのMLEはλˆ=Xとなる。またその

分散はVar(X) =λ/nとなり，クラメール・ラオの下限に一致することがわかる。

 問13. (1) In(θ) =n×I1(θ)に注意する。logf(x|θ) =−(1/2) log(2πθ)−x²₁/(2θ)より d²

dθ²logf(x|θ) =− 1 2θ² −x²₁

θ³ + 1 θ²

となる。I1(θ) = E[−(d²/dθ²) logf(X1|θ)], E[X₁²] = θより, I1(θ) = 1/(2θ²)となる。従って，In(θ) = n/(2θ²)となる。クラメール・ラオの不等式より, Var(ˆθ)≥2θ²/nが成り立つ。

(2)ℓ(θ) =−(n/2) log(2πθ)−∑n

i=1x²_i/(2θ)をθに関して微分すると，ℓ^′(θ) =−n(2θ) +∑n

i=1x²_i/(2θ²)と なるので，ℓ^′(θ) = 0の解を求めると，θのMLEはθˆ=∑n

i=1X_i²/nとなる。その平均と分散は，E[ˆθ^{M L}] = E[X₁²] =θ, Var(ˆθ^{M L}) = Var(X₁²)/n=E[X₁⁴−θ²]/n= (3θ²−θ²)/n= 2θ²/n となる。

(3) X_i²/θ∼χ²₁より，nθ/θˆ ∼χ²_nとなる。

(4) X₁², . . . , X_n², i.i.d.∼(θ,2θ)より，中心極限定理を用いると，√

n(ˆθ−θ)→dN(0,2θ²)となる。

 問14. X1, . . . , Xn, i.i.d.∼ N(0, θ)なるモデルを考える。

(1)E[|X_i|] =E[(X_i²/θ)^1/2]√

θと書ける。ここでX_i²/θ∼χ²₁より，第３章の問18(1)よりE[(X_i²/θ)^1/2] =

√2Γ(1/2 + 1/2)/Γ(1/2) =√

2/πとなるので，E[|X_i|] =√

2θ/πとなる。

(2) E[|X_i|√

π/2] =√

θより，√

θのモーメント推定量は

√θ˜= 1 n

∑n

i=1

|X_i|√ π/2 で与えられる。この漸近分布を求めるには，

Var(|X_i|√

π/2) =E[X_i²]π/2−(√

θ)² = (π/2−1)θ

となることに注意すると，|X1|√

π/2, . . . ,|Xn|√

π/2, i.i.d.∼(θ,(π/2−1)θ)であり，中心極限定理により

√n(√ θ˜−√

θ)→dN(0,(π/2−1)θ) となることがわかる。一方，θのMLEはθˆ=∑n

i=1X_i²/nであり，上の問13(4)より√

n(ˆθ−θ)→dN(0,2θ²) である。デルタ法を用いると，g(θ) =√

θ,g^′(θ) = 1/(2√

θ)より，漸近分散は2θ²/(4θ) =θ/2となるので

√n(√ θˆ−√

θ)→dN(0, θ/2) となる。両者の漸近分散を比較すると

(π

2 −1)θ−1

2θ= π−3 2 θ >0

となるので， MLEの方が漸近分散が小さいことがわかる。このことは，MLEが漸近有効性を持つという 一般論からも示される。

 問15. p.131の証明に習って示すことができる。X = (X₁, . . . , X_n)に対してˆh= ˆh(X)はh(θ)の不偏 推定量であるから，コーシー・シュバルツの不等式より

{E[(ˆh(X)−h(θ))S_n(θ,X)]}2

≤E[(ˆh(X)−h(θ))²]E[{S_n(θ,X)}²] = Var(ˆh)×I_n(θ) となる。ここで，

E[(ˆh(X)−h(θ))Sn(θ,X)] =E[ˆh(X)Sn(θ,X)] =

∫ ˆh(x)(d/dθ)fn(x|θ)

f_n(x|θ) fn(x|θ)dx

=d dθ

∫ ˆh(x)f_n(x|θ)dx= d

dθh(θ) =h^′(θ) と書けるので，{h^′(θ)}²≤Var(ˆh)I_n(θ)，すなわち

Var(ˆh)≥ {h^′(θ)}² I_n(θ) が成り立つ。

 問16. (1) 対数尤度関数は

ℓ(µ1, . . . , µn, σ²) =−nlog(2πσ²)− 1 2σ²

∑n

i=1

{(xi−µi)²+ (yi−µi)²} と書けるので，

∂

∂µ_iℓ(µ₁, . . . , µ_n, σ²) = 1 σ²

∑n

i=1

{x_i−µ_i+y_i−µ_i}= 0, i= 1, . . . , n,

∂

∂σ²ℓ(µ₁, . . . , µ_n, σ²) =− n σ² + 1

2σ⁴

∑n

i=1

{(x_i−µ_i)²+ (y_i−µ_i)²}= 0 を解くと，µ_i,σ²のMLEとしてµb_i= (X_i+Y_i)/2, ˆσ² =∑n

i=1(X_i−Y_i)²/(2n)が得られる。

(2)X₁−Y₁, . . . , X_n−Y_n, i.i.d.∼ N(0,2σ²)であるので，大数の法則から∑n

i=1(X_i−Y_i)²は2σ²に確率 収束することがわかる。従ってσ²のMLE ˆσ²はσ²の一致推定量になる。

(3) µ=∑n

i=1µ_i/nとおくとき，X_i−X = (X_i−µ_i)−(X−µ) + (µ_i−µ)と書けるので，(X_i−X)² = (X_i−µ_i)²+ (X−µ)²+ (µ_i−µ)²−2(X_i−µ_i)(X−µ)−2(µ_i−µ)(X−µ) + 2(µ_i−µ)(X_i−µ_i)となる。

従って，

1 n

∑n

i=1

(X_i−X)² = 1 n

∑n

i=1

(X_i−µ_i)²−(X−µ)²+ 2 n

∑n

i=1

(µ_i−µ)(X_i−µ_i) + 1 n

∑n

i=1

(µ_i−µ)²

1.2. 演習問題の略解 41 と書けることがわかる。ここで，µ₁, . . . , µ_nは未知の母数であり，

nlim→∞

1 n

∑n

i=1

µ_i =a₀, lim

n→∞

1 n

∑n

i=1

(µ_i−µ)²=b₀>0 なるa0,b0が存在すると仮定する。このとき

1 n

∑n

i=1

(Xi−µi)²→pσ², X−µ→p0, 1 n

∑n

i=1

(µi−µ)(Xi−µi)→p0 となることがわかる。従って，

1 n

∑n

i=1

(X_i−X)² →p σ²+b₀ となる。同様にして

1 n

∑n

i=1

(Y_i−Y)² →p σ²+b₀ となるので，{∑n

i=1(X_i−X)²+∑n

i=1(Y_i−Y)²}/(2n)→p σ²+b₀となり，b₀ = 0でない限り一致性をも たないことがわかる。逆に，上のa₀が存在してb₀ = 0のときには一致性を持つことになる。

問17. この問題については，X_i,Y_iの分散をVar(X_i) =σ₁², Var(Y_i) =σ₂²,共分散をCov(X_i, Y_i) =ρσ₁σ₂ に訂正して下さい。

(1) 大数尤度は

ℓ(ρ, σ1, σ2) =−n

2log(2π)−n

2log(1−ρ²)−nlogσ1−nlogσ2

− 1

2(1−ρ²)

[∑ix²_i σ₁² −2ρ

∑

ix_iy_i σ₁σ₂ +

∑

iy²_i σ₂²

]

と書けるので，

∂ℓ(ρ, σ₁, σ₂)

ρ = 0, ∂σ₁(ρ, σ₁, σ₂) σ1

= 0, ∂σ₂(ρ, σ₁, σ₂) σ2

= 0 の解を求めると，ρˆ=∑

ixiyi/√∑

ix²_i ∑

iy_i²が得られる。

(2) ˆρ=rとおく。rは平均を既知としたときの相関係数であり，rの確率密度関数は

f(r) = (1−ρ²)^n/2(1−r²)^(n−3)/2

√π{Γ(n/2)}²

∑∞

k=0

(2ρ)^k

k! {Γ((n+k)/2)}²

となる。証明は，竹村著「多変量推測統計の基礎」p.68を参照。また誤植と追加説明のファイルM athStat_typo.pdf に中にも詳しい説明が与えられているので，参照して下さい。

(3)√

n(ˆρ−ρ)→dN(0,(1−ρ²)²)となる。証明は，竹村著「多変量推測統計の基礎」p.70を参照。また誤 植と追加説明のファイル M athStat_typo.pdf に中にも詳しい説明が与えられているので，参照して下さい。

 問18. (1) 不等式(6.10)において等号が成立することは，命題6.18の証明の中のコーシー・シュバル

ツの不等式において等号が成り立つことを意味する。コーシー・シュバルツの不等式の不等式において等 号が成立することは一方の関数が他方の関数の線形の形で書けることが必要十分条件なので，

Sn(θ,x) =a(ˆθ(x)−θ) +b と書けることを意味する。すなわち

d

dθlogf(x|θ) =aθ(x)ˆ −aθ+b であるので，両辺を不定積分すると

logf(x|θ) =aθ(x)θˆ −aθ²+bθ+c

すなわち,X の確率密度関数（確率関数）が

f(xth) = exp{aθ(x)θˆ −aθ²+bθ+c} なる形に表される。これは指数型分布族になっていることを意味する。

(2) 不等式(6.17)の導出は問15で解説されている。

(3) 不等式(6.18)については，不等式(6.17)を用いると

MSE(θ, δ) =E[(δ(X)−g(θ))²] =E[{δ(X)−E[δ(X)]}²] +{Bias(δ)}²

={(d/dθ)E[δ(X)]}²

I_n(θ) +{Bias(δ)]²

となる。ここでBias(δ) =E[δ(X)]−g(θ)の両辺をθで微分すると，

d

dθBias(δ) = d

dθE[δ(X)]−g^′(θ) となるので，(6.18)の形の不等式が得られる。

ドキュメント内 現代数理統計学の基礎 ktatsuya77 MathStat Answers (ページ 33-42)