不均一分散線形回帰モデルにおける 不偏推定量について
井 上 淳
1. はじめに
階数が
p
で第1
列が1
n(=
i(1,1,...,1)
t) ( n
i×1)
であるような既知の計画行 列X (
in
i× p ) ( i =1,..., k ),
未知の回帰ベクトルb ( p ×1),誤差
ベクトルe
i( n
i×1) ( i =1,..., k )
によって観測ベクトルy (
in
i×1) ( i =1,..., k )
が次のよう に表される線形回帰モデルを考え,このモデルの下で回帰ベクトルb
を推定 する問題を考える:y
i= X
ib + e
i( i =1,..., k ) .
ここに,
e (
ii =1,..., k )
は互いに独立に平均0
のn
i変量正規分布に従うも のとし,e
iの各成分の分散は未知の正数v
i2であり,各成分間の相関係数は成 分の選び方によらずに一定の既知の値t (−
i( n
i−1)
−1< t
i<1)
をとるものと仮 定する.すなわち,e = ( e
1t,..., e
kt)
t,
Ω
i= (1− t
i) I
ni+ t
i1
ni1
tni( i =1,..., k ) (1.1)
とおくとき,
e
i, e
の分散共分散行列についてそれぞれ次が成り立つものと仮 定する:V ( e
i) = v
i2Ω
i( i =1,..., k ),
V ( e ) =diag ( v
12Ω
1,..., v
k2Ω
k).
v
i2( i =1,..., k )
が既知の場合は,b
の一般化最小二乗推定量b
^gls
( = !i=1k v
−2i X
itΩ
−1i X
i) (
−1 !
i=1k v
−2i X
itΩ
−1i y
i)
が最良線形不偏推定量になっており,その分散
V ( b
^gls)
は次式で与えられる:V (b
^gls) ( = !
i=1kv
−2iX
itΩ
−1iX
i)
−1. (1.2)
現在の設定では
v
i2( i =1,..., k )
は未知である.従って,一般化最小二乗推 定量b
^glsを実際に用いることはできない.そこで,残差平方和を用いてv
i2の 不偏推定量v
^i2
= y
itP
iy
i(1−t
i) (n
i−p)
(P
i=I
ni−X (X
i itX
i)
−1X
it)
を構成し,この逆数
v
^i−2をb
^glsの中のv
i−2と置き換えることが考えられる.本稿では
v
^i−2に偏りがあることを考慮し,この偏りを定数倍によって修正す る余地を与えることにする.すなわち,正数w
iをv
^i−2に付加してできる推定 量b
^wを考えることにする:b
^w( = !i=1k w
iv
^−2i X
itΩ
−1i X
i) (
−1 !
i=1k w
iv
^−2i X
itΩ
−1i y
i) .
ここで,正数
w (
ii =1,..., k )
の導入によってb
の不偏推定量のクラスが生 成されることに注意する.
Ω
i= I
n(
ii =1,..., k )
のときは(すなわち,t
i=0 ( i =1,..., k )
のときは),不 偏推定量b
^wのクラスの中で漸近的( k" + 3 )
に最適な推定量が存在すること,及びその推定量の漸近分散が次で与えられることが
Inoue (2003)
のTheorem 2.3
によって既に示されている:( !i=1k n n
ii−p−4 − p −2 v
−2i X
itX
i)
−1. (1.3)
b
の不偏推定量の分散の下限(1.2)
においてΩ
i= I
niの場合を考え,それを(1.3)
と比較すれば分かるように,k
個の標本のサイズn (
ii =1,..., k )
が小さ いときはb
^wの精度が低く,n (
ii =1,..., k )
が大きいときは精度が高いという ごく自然な現象を(1.3)
は明らかにしている.本稿では,この結果を
(1.1)
という形で与えられるΩ
iの場合に拡張する.こ れにより,誤差ベクトルe (
ii =1,..., k )
内の無相関性の仮定をある程度緩め不均一分散線形回帰モデルにおける不偏推定量について
59
ても
Inoue (2003)
のTheorem 2.3
と同様の結果が成立することが分かる.2. 補助定理
この節では,補助定理を準備する.
補助定理 2.1
Ω (
ii =1,..., k )
について次が成り立つ.
Ω
i−1= 1
1− { t
iI
ni− 1+ ( n t
i−1)
it
i1
ni1
tni}
(i=1,...,k).
Ω
i1/2=cI
ni+d1
ni1
tni(i=1,...,k)
但し,
c
2=1− t
i, n
id
2+2 cd − t
i=0.
証明の概略 直接的な計算により,直ちに結果を得る. □
補助定理 2.2 E
(v
^i−2) =v
i−2n
i− p
n
i−p−2
(i=1,...,k).
証明の概略
P
i1
ni=0 ( i =1,..., k )
が成り立つことと,補助定理2.1 の結果 により次が成り立つ:Ω
i1/2P
iΩ
i1/2= ( cI
ni+ d1
ni1
tni) P (
icI
ni+ d1
ni1
tni)
= cP (
icI
ni+ d1
ni1
tni)
= c
2P
i= (1− t
i) P
i( i =1,..., k ). (2.1)
次に,
f
i=Ω
i−1/2e (
ii =1,..., k )
とおく.f
iは平均0,分散共分散行列 v
i2I
niのn
i変量正規分布に従う.このf (
ii =1,..., k )
と(2.1)
を用いると,次の変形が できる:y
itP
iy
i= ( X
ib + e
i)
tP (
iX
ib + e
i) = e
itP
ie
i= f (
itΩ
i1/2P
iΩ
i1/2) f
i= (1− t
i) ・ f
itP
if
i( i =1,..., k ). (2.2)
次に,直交行列
Q
i,対角行列 Λ
i=diag ( I
ni− p , O
p)
を用いてP
iをQ
itΛ
iQ
iと 分解し,g
i= Q
i( f
ii =1,..., k )
とおく.このg (
ii =1,..., k )
と(2.2)
を用いると,次の変形ができる:
y
itP
iy
i= (1− t
i) ・ f
itP
if
i= (1− t
i) ・ f
itQ
itΛ
iQ
if
i= (1− t
i) ・ g
itΛ
ig
i( i =1,..., k ). (2.3)
ここで,
g
iとf
iの分布は同一であることに注意する.このことと(2.3)
により,結局次を得る:
E (v
^i−2) = (1−t
i) (n
i−p) ( E y
itP 1
iy
i)
= (1− t
i) ( n
i− p { ) E (1−t
i) 1 ・ g
itΛ
ig
i}
= (n
i−p) ( E g
itΛ 1
ig
i)
= v
i−2n
i− p n
i− p −2 .
□
補助定理 2.3( E e v^ie
i4it ) =v
i−2n
in −
i− p −2 p [ (1−t
i) P
i+ n
in −
i− p −4 p {Ω
i− (1−t
i) P
i} ] (i=1,...,k).
証明の概略 まず,
v
^i−4e
ie
itを次のように変形する:e
ie
itv
^i4
= Ω
i1/2f
if
itΩ
i1/2{(n
i−p)
−1f
itP
if
i}
2= ( n
i− p )
2・ Ω
i1/2・ Q
itQ
if
if
itQ
itQ
i( f
itQ
itΛ
iQ
if
i)
2・ Ω
i1/2= (n
i−p)
2・ Ω
i1/2Q ・
itg
ig
it(g
itΛ
ig
i)
2・ Q
iΩ
i1/2. (2.4)
不均一分散線形回帰モデルにおける不偏推定量について
61
次に,g
iを2
つのベクトルg ((
i1n
i− p ) ×1), g (
i2p ×1)
に分割し,g
it= ( g
it1
, g
it 2)
t と表すことにする.このとき,g
itΛ
ig
i= <g
i1<
2と書くことができる.また,多変 量正規分布の性質を用いて以下の式の成立を示すことができる:( E g <gi1i1g
i<
t42) =O, E ( g <gi2g
i1<
it14) =O,
g
i1<
it14) =O,
( E g <gi1i1g
i<
t41) = ni−p 1 ( E <g <g
i1i1< <
24) Ini−p= n
i−p 1 E ( <g
i1<
−2) I
ni−p
−p 1 ( E <g <g
i1i1< <
24) Ini−p= n
i−p 1 E ( <g
i1<
−2) I
ni−p
= v
i−2(n
i−p) (n
i−p−2) I
ni−p,
( E g <i2g
i1g <
it24) = 1 p ( E <g <gi2i1< <
24) Ip= (n
i−p−2) v (n
i−2i−p−4) I
p ( i =1,..., k ).
< <
24) Ip= (n
i−p−2) v (n
i−2i−p−4) I
p ( i =1,..., k ).
これらにより,次が成り立つ:
{ E ( gitg Λ
ig
iig
ti)
2} =diag { ( ni− p ) ( v n
i−2i− p −2) I
ni−p, ( n
i− p −2) v (
i−2n
i− p −4) I
p}
− p ) ( v n
i−2i− p −2) I
ni−p, ( n
i− p −2) v (
i−2n
i− p −4) I
p}
= v
i−2( n
i− p ) ( n
i− p −2) Λ
i+ v
i−2( n
i− p −2) ( n
i− p −4) ( I
ni−Λ
i)
( i =1,..., k ). (2.5)
(2.4),(2.5),(2.1)
を合わせることにより,定理の結論を得る:( E e v^ie
i4it )
= ( n
i− p )
2Ω
i1/2{ Qit(n
i−p) (n v
i−2Λ
i−p−2)
i + (n
i−p−2) v
i−2(I (n
ni−Λ
i−p−4)
i) } Q
iΩ
i1/2
= (n
i−p)
2Ω {i1/2( n
i− p ) ( v
i−2n P
i−
i p −2) + ( n
i− p v −2)
i−2( I (
ni− n
iP −
i) p −4) } Ω
i1/2
= ( n
i− p ) [2(n
iv −p)
i−2(1−t (n
i−p−2)
i) P
i + (n v
ii−p−2)
−2{Ω
i− (1−t (n
i−p−4)
i) P
i} ]
=v
i−2n
i− p
n
i− p −2 [ (1−t
i) P
i+ n
i− n
i− p −4 p {Ω
i− (1−t
i) P
i} ] .
□
補助定理 2.4
V= ( !
i=1kw
iv
^−2iX
itΩ
−1ie
i) = !i=1k( n
i− p w −2) (n
i2 (
i−p) n
i−
2p −4) v
i−2X
itΩ
i−1X
i.
証明の概略 補助定理2.1 の結果により,次が成り立つことが分かる:
Ω
i−1P
iΩ
i−1= 1
(1−t
i)
2P
i(i=1,...,k). (2.6)
また,多変量正規分布の性質から,次が成り立つ:
E= ( !
i=1kw
iv
^−2iX
itΩ
−1ie
i) =0. (2.7)
補助定理2.3,(2.6),(2.7)の結果を合わせて次を得る:
( V !i=1k w
iv
^−2i X
itΩ
−1i e
i)
=
!
ki=1
w
i2X
itΩ
−1i・ ( E e v
^ie
i4it) ・ Ω
i−1X
i=
!
i=1kw
i2X
itΩ
−1i・ v
i−2n
i− n
i−p p −2 [ (1−t
i) P
i+ n
in −
i−p p −4 {Ω −
i(1−t
i) P
i} ] ×Ω
i−1X
i=
!
ki=1
w
i2v
−2i(n
i−p)
n
i− p −2 { X
it1− P
it
i+ n
i− n
i− p −4 p ( Ω
−1i− 1− P
it
i)} Xi
=
!
i=1k( n
i− p w −2) (n
i2(
i−p) n
i−
2p −4) v
i−2X
itΩ
−1iX
i.
□
3. 主要定理
この節では,前節で準備した補助定理の結果を利用して
b
^wの漸近分散を求 める.また,w(i=1,...,k)
i を適当に選択することによって,b^wタイプの不 偏推定量の中で漸近最適なものを見つけ出す.その結果,たとえばw
1=w
2=
…=w
kという一見自然な選択は,一般に漸近最適な推定量を導かないことが 分かる.不均一分散線形回帰モデルにおける不偏推定量について
63
定理 3.1 適当な有界性の条件の下で,次の関係式が成り立つ:
( !i=1k w
iv
^−2i X
itΩ
−1i X
i)
−1( = !i=1k w
in
in −
i−p p −2 v
−2X
itΩ
−1i X
i)
−1+o (k
p −1).
w
in
in −
i−p p −2 v
−2X
itΩ
−1iX
i)
−1+o (k
p −1).
証明の概略
まず,補助定理
2.2
の結果と大数の法則を用いて次の関係式の成立を示すこ とができる:!
i=1kw
iv
^−2iX
itΩ
−1iX
i= !
i=1kw
in
in −
i−p p −2 v
−2X
itΩ
−1iX
i+o (k).
pこの関係式を用いて逆行列間の漸近的関係を導くことができる.具体的な手 順は
Inoue (2003)
のLemma 2.1
の証明の流れと同様である.□
定理 3.2 適当な有界性の条件の下で,次の関係式が成り立つ:h ・
tV
w−1/2・ B (w !
i=1k w
iv
^−2i X
itΩ
−1i e
i) $
d N (0, 1
2)
(k" + 3 ).
但し,
h ( p ×1)
は任意の単位ベクトル,V
w= B
wC
wB
w,
B
w( = !i=1k w
i n
in −
i−p p −2 v
−2X
itΩ
−1i X
i)
−1,
C
w= !
ki=1
w (
i2n
i− p )
2( n
i− p −2) ( n
i− p −4) v
i−2X
itΩ
−1iX
iとする.
証明の概略
補助定理
2.4
の結果と中心極限定理を用いて示すことができる.具体的な手順は
Inoue (2003)
のLemma 2.2
の証明の流れと同様である.□
補助定理2.2
の結果から,n
i− p −2
n
i− p v
^−2i がv
i2の不偏推定量であることが分か る.この事実だけから判断するとw
i" n
i− p −2
n
i−p
(i=1,...,k)
を満たすように
w (
ii =1,..., k )
を選ぶのが最適なのではないかと思われる.しかし,このような選択が実際には最適ではないことが次の定理から分かる.
定理 3.3 適当な有界性の条件の下で,次の関係式:
V
w−1/2( b
^w− b ) $
dN (0, I
p)
( k" + 3 )
が成り立つ.また,V
wには下限V
*( = !i=1k n n
ii−p−4 − p −2 v
i−2X
itΩ
−1i X
i)
−1
が存在する.
V
wの下限V
*が達成されるための必要十分条件はw
i" n
i− p −4
n
i−p
(i=1,...,k)
である.
証明の概略
漸近正規性は,定理
3.1,定理 3.2
の結果を用いて示すことができる.また,行列を適当に分解し,ベキ等行列の性質を用いれば,
V
*がV
wの下限になって いることも容易に示される.□
4. 結び定理
3.3
の結果から分かるように,b
^wタイプの不偏推定量の漸近分散の下 限V
*は一般化最小二乗推定量の分散(1.2)
とは一致しない.先にも述べたよ うに,n (
ii =1,..., k )
が総じて小さいとき,V
*は(1.2)
から乖離してしまう.このことから,残差平方和の逆数(の定数倍)を利用して
b
の推定量を構成 する手法の限界が読み取れる.不均一分散線形回帰モデルにおける不偏推定量について
65
不偏推定量
b
^wのこのような漸近的な性質は,Ω
i= I
niなる強い条件下でInoue
(2003)
が既に論じている.本稿では,
Ω
i= I
niという条件を(1.1)
という緩い条件に置き換えた場合,そ れがb
^wの挙動にどのような影響を及ぼすのかを調べた.そして,Ω(
ii = 1,..., k )
が既知であり,なおかつ条件(1.1)
が満たされる場合,推定量の挙動 はΩi= I
niなる条件下におけるそれと殆ど同じであることが観察できた.なお,
b
^wの挙動を調べていく際,展開式の中に相関係数t (
ii =1,..., k )
が 登場してくることはあったが,最終的な結果を見るとt (
ii =1,..., k )
がΩ(
ii
=1,..., k )
外に出てくることはなかった.定理3.3
の結果を見れば分かるよ うに,漸近分散を最小にするw (
ii =1,..., k )
はn
iとp
に依存するのみであり,相関係数
t
iには依存していない.今回の結果は,既知のΩ
(
ii =1,..., k )
が(1.1)
という形で与えられるという 仮定の下で導かれたものである.しかし,たとえばt (
ii =1,..., k )
が未知の 場合,Ω (
ii =1,..., k )
の構造が(1.1)
とは異なっている場合にはどのような現 象が観察できるのであろうか.その他にも,e (
ii =1,..., k )
に相関構造を想定 することも考えられる.これらに関する議論については今後の課題としたい.※本稿は平成14年度〜平成15年度文部科学省科学研究費(若手研究B)(課題
番号:14780166),及び平成15年度早稲田大学個人特定課題研究助成費(課題 番号:2003A010)による成果の一部である.
参考文献