（）（）不均一分散線形回帰モデルにおける不偏推定量について

(1)

不均一分散線形回帰モデルにおける不偏推定量について

井上淳

1. はじめに

階数が

p

で第

1

列が

1

n

（＝

i

（1,1,...,1）

^t

）（ n

i

×1）

であるような既知の計画行列

X （

i

n

i

× p ）（ i ＝1,..., k ），

未知の回帰ベクトル

b （ p ×1），誤差

ベクトル

e

i

（ n

i

×1）（ i ＝1,..., k ）

によって観測ベクトル

y （

i

n

i

×1）（ i ＝1,..., k ）

が次のように表される線形回帰モデルを考え，このモデルの下で回帰ベクトル

b

を推定する問題を考える：

y

i

＝ X

i

b ＋ e

i

（ i ＝1,..., k ）．

ここに，

e （

i

i ＝1,..., k ）

は互いに独立に平均

0

の

n

i変量正規分布に従うものとし，

e

iの各成分の分散は未知の正数

v

i2であり，各成分間の相関係数は成分の選び方によらずに一定の既知の値

t （−

i

（ n

i

−1）

⁻¹

＜ t

i

＜1）

をとるものと仮定する．すなわち，

e ＝（ e

1t

,..., e

kt

）

^t

，

Ω

ⁱ

＝（1− t

i

） I

ni

＋ t

i

1

ni

1

^tni

（ i ＝1,..., k ）（1.1）

とおくとき，

e

i

， e

の分散共分散行列についてそれぞれ次が成り立つものと仮定する：

V （ e

i

）＝ v

i2

Ω

ⁱ

（ i ＝1,..., k ），

V （ e ）＝diag （ v

12

Ω

¹

,..., v

k2

Ω

^k

）．

v

i2

（ i ＝1,..., k ）

が既知の場合は，

b

の一般化最小二乗推定量

b

^

gls

（＝ ^!

^i＝1^k

^v

⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）（

⁻¹

^!

^i＝1^k

^v

⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^y

ⁱ

）

が最良線形不偏推定量になっており，その分散

V （ b

^{^}gls

）

は次式で与えられる：

(2)

V （b

^{^}gls

）（＝ ^!

^i＝1^k

^v

⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）

⁻¹

^． ^（1.2）

現在の設定では

v

i2

（ i ＝1,..., k ）

は未知である．従って，一般化最小二乗推定量

b

^{^}glsを実際に用いることはできない．そこで，残差平方和を用いて

v

i2の不偏推定量

v

^

i2

＝ y

it

P

i

y

i

（1−t

ⁱ

）（n

ⁱ

−p）

（P

i

＝I

ni

−X （X

i it

X

i

）

⁻¹

X

it

）

を構成し，この逆数

v

^{^}i−2を

b

^{^}glsの中の

v

i−2と置き換えることが考えられる．

本稿では

v

^{^}i−2に偏りがあることを考慮し，この偏りを定数倍によって修正する余地を与えることにする．すなわち，正数

w

iを

v

^{^}i−2に付加してできる推定量

b

^{^}wを考えることにする：

b

^{^}w

（＝ ^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）（

⁻¹

^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^y

ⁱ

） ^．

ここで，正数

w （

i

i ＝1,..., k ）

の導入によって

b

の不偏推定量のクラスが生成されることに注意する．

Ω

ⁱ

＝ I

n

（

i

i ＝1,..., k ）

のときは（すなわち，

t

i

＝0 （ i ＝1,..., k ）

のときは），不偏推定量

b

^{^}wのクラスの中で漸近的

（ k" ＋ 3 ）

に最適な推定量が存在すること，

及びその推定量の漸近分散が次で与えられることが

Inoue （2003）

の

Theorem 2.3

によって既に示されている：

（ ^!

^i＝1^k

ⁿ ⁿ

ⁱⁱ

^−p−4 ⁻ ^p ⁻² ^v

⁻²ⁱ

^X

ⁱ^t

^X

ⁱ

）

⁻¹

^． ^（1.3）

b

の不偏推定量の分散の下限

（1.2）

において

Ω

ⁱ

＝ I

niの場合を考え，それを

（1.3）

と比較すれば分かるように，

k

個の標本のサイズ

n （

i

i ＝1,..., k ）

が小さいときは

b

^{^}wの精度が低く，

n （

i

i ＝1,..., k ）

が大きいときは精度が高いというごく自然な現象を

（1.3）

は明らかにしている．

本稿では，この結果を

（1.1）

という形で与えられる

Ω

ⁱの場合に拡張する．これにより，誤差ベクトル

e （

i

i ＝1,..., k ）

内の無相関性の仮定をある程度緩め

(3)

不均一分散線形回帰モデルにおける不偏推定量について

59

ても

Inoue （2003）

の

Theorem 2.3

と同様の結果が成立することが分かる．

2. 補助定理

この節では，補助定理を準備する．

補助定理 2.1

Ω （

ⁱ

i ＝1,..., k ）

について次が成り立つ．

Ω

i−1

＝ 1

1− ｛ t

i

^I

ⁿⁱ

⁻ ^1＋ ^（ ⁿ ^t

ⁱ

^−1）

ⁱ

^t

ⁱ

¹

ⁿⁱ

¹

^tⁿⁱ

｝

（i＝1,...,k）．

Ω

i1/2

＝cI

ni

＋d1

ni

1

^tni

（i＝1,...,k）

但し，

c

²

＝1− t

i

， n

i

d

²

＋2 cd − t

i

＝0．

証明の概略 直接的な計算により，直ちに結果を得る． □

補助定理 2.2 E

（v

^{^}i−2

）＝v

i−2

n

i

− p

n

i

−p−2

（i＝1,...,k）．

証明の概略

P

i

1

ni

＝0 （ i ＝1,..., k ）

が成り立つことと，補助定理2.1 の結果により次が成り立つ：

Ω

ⁱ^1/2

P

i

Ω

ⁱ^1/2

＝（ cI

ni

＋ d1

ni

1

^tni

） P （

i

cI

ni

＋ d1

ni

1

^tni

）

＝ cP （

i

cI

ni

＋ d1

ni

1

^tni

）

＝ c

²

P

i

＝（1− t

i

） P

i

（ i ＝1,..., k ）．（2.1）

次に，

f

i

＝Ω

ⁱ^−1/2

e （

i

i ＝1,..., k ）

とおく．

f

iは平均

0，分散共分散行列 v

i2

I

niの

n

i変量正規分布に従う．この

f （

i

i ＝1,..., k ）

と

（2.1）

を用いると，次の変形ができる：

y

it

P

i

y

i

＝（ X

i

b ＋ e

i

）

^t

P （

i

X

i

b ＋ e

i

）＝ e

it

P

i

e

i

(4)

＝ f （

it

Ω

ⁱ^1/2

P

i

Ω

ⁱ^1/2

） f

i

＝（1− t

i

）・ f

it

P

i

f

i

（ i ＝1,..., k ）．（2.2）

次に，直交行列

Q

i

，対角行列 Λ

ⁱ

＝diag （ I

ni

− p ， O

p

）

を用いて

P

iを

Q

it

Λ

ⁱ

Q

iと分解し，

g

i

＝ Q

i

（ f

i

i ＝1,..., k ）

とおく．この

g （

i

i ＝1,..., k ）

と

（2.2）

を用いると，

次の変形ができる：

y

it

P

i

y

i

＝（1− t

i

）・ f

it

P

i

f

i

＝（1− t

i

）・ f

it

Q

it

Λ

ⁱ

Q

i

f

i

＝（1− t

i

）・ g

it

Λ

ⁱ

g

i

（ i ＝1,..., k ）．（2.3）

ここで，

g

iと

f

iの分布は同一であることに注意する．このことと

（2.3）

により，

結局次を得る：

E （v

^{^}i−2

）＝（1−t

i

）（n

i

−p）（ E ^y

ⁱ^t

^P ¹

ⁱ

^y

ⁱ

）

＝（1− t

i

）（ n

i

− p ｛） E ^（1−t

ⁱ

^） ¹ ^・ ^g

ⁱ^t

^Λ

ⁱ

^g

ⁱ

｝

＝（n

i

−p）（ E ^g

ⁱ^t

^Λ ¹

ⁱ

^g

ⁱ

）

＝ v

i−2

n

i

− p n

i

− p −2 ．

□

補助定理 2.3

（ E ^e ^v

^{^}ⁱ

^e

ⁱ⁴ⁱ^t

） ^＝v

ⁱ⁻²

ⁿ

ⁱ

ⁿ ⁻

ⁱ

⁻ ^p ⁻² ^p ［ ^（1−t

ⁱ

^） ^P

ⁱ

^＋ ⁿ

ⁱ

ⁿ ⁻

ⁱ

⁻ ^p ⁻⁴ ^p ^｛Ω

ⁱ

⁻ ^（1−t

ⁱ

^） ^P

ⁱ

^｝］（i＝1,...,k）．

証明の概略 まず，

v

^{^}i−4

e

i

e

itを次のように変形する：

e

i

e

it

v

^

i4

＝ Ω

ⁱ^1/2

f

i

f

it

Ω

ⁱ^1/2

｛（n

ⁱ

−p）

⁻¹

f

it

P

i

f

i

｝

²

＝（ n

i

− p ）

²

・ Ω

ⁱ^1/2

・ Q

it

Q

i

f

i

f

it

Q

it

Q

i

（ f

it

Q

it

Λ

ⁱ

Q

i

f

i

）

²

・ Ω

ⁱ^1/2

＝（n

i

−p）

²

・ Ω

i1/2

Q ・

it

g

i

g

it

（g

ⁱ^t

Λ

ⁱ

g

i

）

²

・ Q

i

Ω

i1/2

．（2.4）

(5)

61

次に，

g

iを

2

つのベクトル

g （（

i1

n

i

− p ） ×1）， g （

i2

p ×1）

に分割し，

g

it

＝（ g

it

1

， g

it 2

）

^t と表すことにする．このとき，

g

it

Λ

ⁱ

g

i

＝ <g

i1

<

²と書くことができる．また，多変量正規分布の性質を用いて以下の式の成立を示すことができる：

（ E ^g ^<g

ⁱ¹ⁱ¹

^g

ⁱ

^<

^t⁴²

） ^{＝O， E} （ ^g ^<g

ⁱ²

^g

ⁱ¹

^<

ⁱ^t¹⁴

） ^＝O，

（ E ^g ^<g

ⁱ¹ⁱ¹

^g

ⁱ

^<

^t⁴¹

） ^＝ ⁿ

ⁱ

^−p ¹ （ ^E ^<g ^<g

ⁱ¹ⁱ¹

^< ^<

²⁴

） ^I

ⁿⁱ^−p

^＝ ⁿ

ⁱ

^−p ¹ ^E ^（ ^<g

ⁱ¹

^<

⁻²

^） ^I

ⁿⁱ^−p

＝ v

i−2

（n

ⁱ

−p）（n

ⁱ

−p−2） I

ni−p

，

（ E ^g ^<

ⁱ²

^g

ⁱ¹

^g ^<

ⁱ^t²⁴

） ^＝ ¹ ^p （ ^E ^<g ^<g

ⁱ²ⁱ¹

^< ^<

²⁴

） ^I

^p

^＝ ^（n

ⁱ

^−p−2） ^v ^（n

ⁱ⁻²ⁱ

^−p−4） ^I

^p

^（ ⁱ ^＝1,..., ^k ^）．

これらにより，次が成り立つ：

｛ E ^（ ^g

ⁱ^t

^g ^Λ

ⁱ

^g

ⁱⁱ

^g

^tⁱ

^）

²

｝ ^＝diag ｛ ^（ ⁿ

ⁱ

⁻ ^p ^） ^（ ^v ⁿ

ⁱ⁻²ⁱ

⁻ ^p ^−2） ^I

ⁿⁱ^−p

^， ^（ ⁿ

ⁱ

⁻ ^p ^−2） ^v ^（

ⁱ⁻²

ⁿ

ⁱ

⁻ ^p ^−4） ^I

^p

｝

＝ v

i−2

（ n

i

− p ）（ n

i

− p −2） Λ

ⁱ

＋ v

i−2

（ n

i

− p −2）（ n

i

− p −4）（ I

ni

−Λ

ⁱ

）

（ i ＝1,..., k ）．（2.5）

（2.4），（2.5），（2.1）

を合わせることにより，定理の結論を得る：

（ E ^e ^v

^{^}ⁱ

^e

ⁱ⁴ⁱ^t

）

＝（ n

i

− p ）

²

Ω

ⁱ^1/2

｛ Q

it

^（n

ⁱ

^−p） ^（n ^v

ⁱ⁻²

^Λ

ⁱ

^−p−2）

ⁱ

^＋ ^（n

ⁱ

^−p−2） ^v

ⁱ⁻²

^（I ^（n

ⁿⁱ

^−Λ

ⁱ

^−p−4）

ⁱ

^）｝ ^Q

ⁱ

^Ω

ⁱ^1/2

＝（n

i

−p）

²

Ω ｛

i1/2

^（ ⁿ

ⁱ

⁻ ^p ^） ^（ ^v

ⁱ⁻²

ⁿ ^P

ⁱ

⁻

ⁱ

^p ^−2） ^＋ ^（ ⁿ

ⁱ

⁻ ^p ^v ^−2）

ⁱ⁻²

^（ ^I ^（

ⁿⁱ

⁻ ⁿ

ⁱ

^P ⁻

ⁱ

^） ^p ^−4）｝ ^Ω

ⁱ^1/2

＝（ n

i

− p ）［

²

^（n

ⁱ

^v ^−p）

ⁱ⁻²

^（1−t ^（n

ⁱ

^−p−2）

ⁱ

^） ^P

ⁱ

^＋ ^（n ^v

ⁱⁱ

^−p−2）

⁻²

^｛Ω

ⁱ

⁻ ^（1−t ^（n

ⁱ

^−p−4）

ⁱ

^） ^P

ⁱ

^｝］

＝v

i−2

n

i

− p

n

i

− p −2 ［ ^（1−t

ⁱ

^） ^P

ⁱ

^＋ ⁿ

ⁱ

⁻ ⁿ

ⁱ

⁻ ^p ⁻⁴ ^p ^｛Ω

ⁱ

⁻ ^（1−t

ⁱ

^） ^P

ⁱ

^｝］ ^．

□

(6)

補助定理 2.4

V＝（ ^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^e

ⁱ

） ^＝ ^!

^i＝1^k

^（ ⁿ

ⁱ

⁻ ^p ^w ^−2） ^（n

ⁱ²

^（

ⁱ

^−p） ⁿ

ⁱ

⁻

²

^p ^−4） ^v

ⁱ⁻²

^X

ⁱ^t

^Ω

ⁱ⁻¹

^X

ⁱ

^．

証明の概略 補助定理2.1 の結果により，次が成り立つことが分かる：

Ω

i−1

P

i

Ω

i−1

＝ 1

（1−t

ⁱ

）

²

P

i

（i＝1,...,k）．（2.6）

また，多変量正規分布の性質から，次が成り立つ：

E＝（ ^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^e

ⁱ

） ^＝0． ^（2.7）

補助定理2.3，（2.6），（2.7）の結果を合わせて次を得る：

（ V ^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^e

ⁱ

）

＝

!

^k

i＝1

w

i2

X

it

Ω

⁻¹ⁱ

・（ E ^e ^v

^{^}ⁱ

^e

ⁱ⁴ⁱ^t

） ^・ ^Ω

ⁱ⁻¹

^X

ⁱ

＝

!

_i＝1^k

^w

ⁱ²

^X

ⁱ^t

^Ω

⁻¹ⁱ

^・ ^v

ⁱ⁻²

_n

_i

₋ ⁿ

ⁱ

^−p _p ₋₂ ［ ^（1−t

ⁱ

^） ^P

ⁱ

^＋ ⁿ

ⁱ

ⁿ ⁻

ⁱ

^−p ^p ⁻⁴ ^｛Ω ⁻

ⁱ

^（1−t

ⁱ

^） ^P

ⁱ

^｝］ ^×Ω

ⁱ⁻¹

^X

ⁱ

＝

!

^k

i＝1

w

i2

v

−2i

（n

ⁱ

−p）

n

i

− p −2 ｛ X

it

¹⁻ ^P

ⁱ

^t

ⁱ

^＋ ⁿ

ⁱ

⁻ ⁿ

ⁱ

⁻ ^p ⁻⁴ ^p （ ^Ω

⁻¹ⁱ

⁻ ¹⁻ ^P

ⁱ

^t

ⁱ

）｝ ^X

ⁱ

＝

!

_i＝1^k

_（ _n

_i

₋ _p ^w _−2） ^（n

ⁱ²

_（

ⁱ

^−p） _n

_i

₋

²

_p _−4） ^v

ⁱ⁻²

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

^．

□

3. 主要定理

この節では，前節で準備した補助定理の結果を利用して

b

^{^}wの漸近分散を求める．また，w

（i＝1,...,k）

i を適当に選択することによって，b^{^}wタイプの不偏推定量の中で漸近最適なものを見つけ出す．その結果，たとえば

w

1

＝w

2

＝

…＝w

kという一見自然な選択は，一般に漸近最適な推定量を導かないことが分かる．

(7)

63

定理 3.1 適当な有界性の条件の下で，次の関係式が成り立つ：

（ ^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）

⁻¹

（ ^＝ ^!

^i＝1^k

^w

ⁱ

ⁿ

ⁱ

ⁿ ⁻

ⁱ

^−p ^p ⁻² ^v

⁻²

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）

⁻¹

^＋o ^（k

^p ⁻¹

^）．

証明の概略

まず，補助定理

2.2

の結果と大数の法則を用いて次の関係式の成立を示すことができる：

!

_i＝1k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

^＝ !

_i＝1^k

^w

ⁱ

_n

_i

ⁿ ₋

ⁱ

^−p _p ₋₂ ^v

⁻²

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

^＋o ^（k）．

^p

この関係式を用いて逆行列間の漸近的関係を導くことができる．具体的な手順は

Inoue （2003）

の

Lemma 2.1

の証明の流れと同様である．

□

定理 3.2 適当な有界性の条件の下で，次の関係式が成り立つ：

h ・

^t

V

w−1/2

・ B （

w

^!

^i＝1^k

^w

ⁱ

^v

^{^}⁻²ⁱ

^X

ⁱ^t

^Ω

⁻¹ⁱ

^e

ⁱ

） ^$

^d

^N ^（0, ¹

²

^）

^（k" ^＋ ³ ^）．

但し，

h （ p ×1）

は任意の単位ベクトル，

V

w

＝ B

w

C

w

B

w

，

B

w

（＝ ^!

^i＝1^k

^w

ⁱ

ⁿ

ⁱ

ⁿ ⁻

ⁱ

^−p ^p ⁻² ^v

⁻²

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）

⁻¹

^，

C

w

＝ !

^k

i＝1

w （

i2

n

i

− p ）

²

（ n

i

− p −2）（ n

i

− p −4） v

i−2

X

it

Ω

⁻¹ⁱ

X

i

とする．

証明の概略

補助定理

2.4

の結果と中心極限定理を用いて示すことができる．具体的な手

順は

Inoue （2003）

の

Lemma 2.2

の証明の流れと同様である．

□

補助定理

2.2

の結果から，

n

i

− p −2

n

i

− p v

^{^}−2i が

v

i2の不偏推定量であることが分かる．この事実だけから判断すると

(8)

w

i

" n

i

− p −2

n

i

−p

（i＝1,...,k）

を満たすように

w （

i

i ＝1,..., k ）

を選ぶのが最適なのではないかと思われる．

しかし，このような選択が実際には最適ではないことが次の定理から分かる．

定理 3.3 適当な有界性の条件の下で，次の関係式：

V

w−1/2

（ b

^{^}w

− b ） $

^d

N （0， I

p

）

（ k" ＋ 3 ）

が成り立つ．また，

V

wには下限

V

＊

（＝ ^!

^i＝1^k

ⁿ ⁿ

ⁱⁱ

^−p−4 ⁻ ^p ⁻² ^v

ⁱ⁻²

^X

ⁱ^t

^Ω

⁻¹ⁱ

^X

ⁱ

）

⁻¹

が存在する．

V

wの下限

V

＊が達成されるための必要十分条件は

w

i

" n

i

− p −4

n

i

−p

（i＝1,...,k）

である．

証明の概略

漸近正規性は，定理

3.1，定理 3.2

の結果を用いて示すことができる．また，

行列を適当に分解し，ベキ等行列の性質を用いれば，

V

＊が

V

wの下限になっていることも容易に示される．

□

4. 結び

定理

3.3

の結果から分かるように，

b

^{^}wタイプの不偏推定量の漸近分散の下限

V

＊は一般化最小二乗推定量の分散

（1.2）

とは一致しない．先にも述べたように，

n （

i

i ＝1,..., k ）

が総じて小さいとき，

V

＊は

（1.2）

から乖離してしまう．

このことから，残差平方和の逆数（の定数倍）を利用して

b

の推定量を構成する手法の限界が読み取れる．

(9)

65

不偏推定量

b

^{^}wのこのような漸近的な性質は，

Ω

ⁱ

＝ I

niなる強い条件下で

Inoue

（2003）

が既に論じている．

本稿では，

Ω

ⁱ

＝ I

niという条件を

（1.1）

という緩い条件に置き換えた場合，それが

b

^{^}wの挙動にどのような影響を及ぼすのかを調べた．そして，Ω

（

ⁱ

i ＝ 1,..., k ）

が既知であり，なおかつ条件

（1.1）

が満たされる場合，推定量の挙動はΩⁱ

＝ I

niなる条件下におけるそれと殆ど同じであることが観察できた．

なお，

b

^{^}wの挙動を調べていく際，展開式の中に相関係数

t （

i

i ＝1,..., k ）

が登場してくることはあったが，最終的な結果を見ると

t （

i

i ＝1,..., k ）

がΩ

（

ⁱ

i

＝1,..., k ）

外に出てくることはなかった．定理

3.3

の結果を見れば分かるように，漸近分散を最小にする

w （

i

i ＝1,..., k ）

は

n

iと

p

に依存するのみであり，

相関係数

t

iには依存していない．

今回の結果は，既知のΩ

（

ⁱ

i ＝1,..., k ）

が

（1.1）

という形で与えられるという仮定の下で導かれたものである．しかし，たとえば

t （

i

i ＝1,..., k ）

が未知の場合，

Ω （

ⁱ

i ＝1,..., k ）

の構造が

（1.1）

とは異なっている場合にはどのような現象が観察できるのであろうか．その他にも，

e （

i

i ＝1,..., k ）

に相関構造を想定することも考えられる．これらに関する議論については今後の課題としたい．

※本稿は平成14年度〜平成15年度文部科学省科学研究費（若手研究Ｂ）（課題

番号：14780166），及び平成15年度早稲田大学個人特定課題研究助成費（課題番号：2003A

010）による成果の一部である．

参考文献

Inoue, K. （2003） . Iterative weighted least‒squares estimates in a heteroscedastic linear re-

gression model. J. Statist. Plann. Inference 110, 1‒2, pp.133‒146.

（ ） （ ） 不均一分散線形回帰モデルにおける不偏推定量について