最小二乗推定量の統計的性質 ◇前提：
○データの分布の仮定
（Data Generating Process: DGP）
y
i
=
α
+
β
x
i
+
ε
i
攪乱項，誤差項
:
i
ε
注意：残差項：uˆ
i
=
y
i
−
α
ˆ
−
β
ˆ
x
i
と区別することβ
α,
は真の値を示す 回帰式：i
i
i
ˆ
ˆ
x
uˆ
y
=
α
+
β
+
と形が一致している →特定化の誤りなし ○攪乱項の仮定E
[ ]
ε
i
=
0
平均０[ ]
2
i
V
ε
=
σ
分散一定，かつ，有限ε
i
,
ε
j
は独立 ◇ 不偏性：推定値の期待値が真の値になる[ ]
αˆ
=
α
E
[ ]
βˆ
=
β
E
（説明）(
)(
)
(
)
(
)
{
}(
)
(
)
(
) (
)
{
}(
)
(
)
(
)(
)
(
)
(
)
(
)
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
=
=
−
−
ε
+
β
=
−
−
ε
−
ε
+
β
=
−
−
ε
−
ε
+
−
β
=
−
−
ε
+
β
+
α
−
ε
+
β
+
α
=
−
−
−
=
β
n
1
i
2
i
n
1
i
i
i
n
1
i
2
i
n
1
i
i
i
n
1
i
2
i
n
1
i
i
i
i
n
1
i
2
i
n
1
i
i
i
i
n
1
i
2
i
n
1
i
i
i
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
y
y
ˆ
よって，[ ]
[ ]
(
)
(
)
(
)
(
)
(
)
(
)
[ ]
β
=
ε
−
−
+
β
=
ε
−
−
+
β
=
−
−
ε
+
β
=
β
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
n
1
i
i
n
1
j
2
j
i
n
1
i
i
n
1
j
2
j
i
n
1
i
2
i
n
1
i
i
i
E
x
x
x
x
x
x
x
x
E
x
x
x
x
E
E
ˆ
E
[ ]
[
] [
]
( )
[
]
[ ]
[
( )
]
[ ]
[ ]
( )
[ ]
[ ]
α
=
ε
+
β
−
β
+
α
=
ε
+
β
−
β
+
α
=
ε
+
β
−
β
+
α
=
ε
+
β
−
β
+
α
=
β
−
ε
+
β
+
α
=
β
−
=
α
∑
∑
=
=
n
1
i
i
n
1
i
i
E
n
1
ˆ
E
x
n
/
1
E
ˆ
E
x
E
x
ˆ
E
E
x
ˆ
E
x
ˆ
x
E
x
ˆ
y
ˆ
E
◇ 一致性
( )
α
ˆ V
,
( )
β
ˆ
V
がデータの数が増えるに従って小さくなる （説明）(
)
(
)
∑
∑
=
=
ε
−
−
+
β
=
β
n
1
i
i
n
1
j
2
j
i
x
x
x
x
ˆ
とV
[
X
+
c
]
=
V
[ ]
X
（ｃは定数），[
c
X
c
Y
]
c
V
[ ]
X
c
V
[ ]
Y
V
1
+
2
=
1
2
+
2
2
（X，Y が独立なら） そして，ε
i
が各ｉについて独立，[ ]
(
)
(
)
(
)
(
)
[ ]
(
)
(
)
(
)
(
)
(
)
∑
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
=
−
σ
=
−
−
σ
=
σ
−
−
=
ε
−
−
=
ε
−
−
=
β
n
1
i
2
i
2
n
1
i
2
i
2
n
1
j
2
j
2
n
1
i
2
2
n
1
j
2
j
2
i
n
1
i
i
2
n
1
j
2
j
2
i
n
1
i
i
n
1
j
2
j
i
x
x
x
x
x
x
x
x
x
x
V
x
x
x
x
x
x
x
x
V
ˆ
V
ｎが大きくなると，∑
(
−
)
→
∞
=
n
1
i
2
i
x
x
の場合には，V
( )
β
ˆ
はｎが大きくなると如何様にも小さくなる． 注意：∑
(
−
)
→
∞
=
n
1
i
2
i
x
x
でない場合は一致性を持たない．例としては，講義資料，問題 ２−５，類題２−６を参照 中心極限定理∼正規分布での近似 ◇正規分布 平均µ
，分散σ
2
の正規分布：N
(
µ,
σ
)
確率密度関数：
( )
(
)
σ
µ
−
−
σ
π
=
2
2
2
t
exp
2
1
t
f
-3 -2 -1 1 2 3 0.025 0.05 0.075 0.1 0.125 0.15 ◇中心極限定理n
1
,
,
X
X
L
が独立，V
[ ]
X
i
=
σ
2
のとき，( )
2
D
n
1
N
0
,
n
X
X
+L
+
→
σ
（説明）[ ]
[ ]
[ ]
2
i
n
1
i
i
n
1
i
i
2
n
1
X
V
X
V
n
1
X
V
n
1
n
X
X
V
σ
=
=
=
=
+
+
∑
∑
=
=
L
a
a
n
1
1
i
2
i
=
∑
∞
=
ならば，(
0
,
a
)
N
n
X
a
X
a
1
1
+ L
+
n
n
→
D
σ
2
（説明）µ−2σ µ−σ µ µ+σ µ+2σ
[ ]
[ ]
a
a
n
X
V
n
a
X
V
n
a
n
X
a
X
a
V
2
n
1
i
2
i
2
n
1
i
i
2
i
n
1
i
i
2
i
n
n
1
1
σ
=
σ
=
=
=
+
+
∑
∑
∑
=
=
=
L
◇ 最小二乗推定量の近似分布∑
(
)
=
∞
→
−
n
1
i
2
i
n
n
x
x
1
lim
が存在するとする．(
)
(
)
∑
∑
=
=
ε
−
−
=
β
−
β
n
1
i
i
n
1
j
2
j
i
x
x
x
x
ˆ
( )
(
)
(
)
∑
∑
=
=
ε
−
−
=
β
−
β
n
1
i
i
n
1
j
2
j
i
n
/
x
x
x
x
n
1
ˆ
n
(
)
(
)
(
)
(
)
(
)
−
σ
=
−
−
σ
→
ε
−
−
−
=
∞
→
=
=
∞
→
=
=
∑
∑
∑
∑
∑
1
n
1
j
2
i
n
2
2
n
1
j
2
i
n
1
i
2
i
n
2
D
n
1
i
i
n
1
j
2
j
i
x
x
n
1
lim
,
0
N
x
x
n
1
x
x
n
1
lim
,
0
N
n
/
x
x
x
x
n
1
から，( )
(
)
−
σ
→
β
−
β
−
=
∞
→
∑
1
n
1
i
2
i
n
2
D
x
x
n
1
lim
,
0
N
ˆ
n
近似によるβˆ
の分布( )
(
)
(
)
( )
0
,
1
N
x
x
ˆ
x
x
n
1
ˆ
n
D
2
/
1
n
1
i
2
i
2
/
1
n
1
i
2
i
→
−
σ
β
−
β
=
−
σ
β
−
β
−
=
−
=
∑
∑
しかし，σ
は不明．2
σ
を∑
=
n
1
i
2
i
uˆ
n
1
で代用してもよい．(
)
( )
0
,
1
N
x
x
uˆ
n
1
ˆ
D
2
/
1
n
1
i
2
i
2
/
1
n
1
i
2
i
→
−
β
−
β
−
=
=
∑
∑
標本平均の分布 DGP：i
i
y
=
µ
+
ε
，[ ]
[ ]
i
2
i
i
0
,
V
,
E
ε
=
ε
=
σ
ε
は独立 回帰：y
i
=
µ
ˆ
+
uˆ
i
推定量：∑
=
=
=
µ
n
1
i
i
y
n
1
y
ˆ
不偏性：[ ]
=
[ ]
=
µ
=
µ
=
µ
∑
∑
∑
=
=
=
n
1
i
n
1
i
i
n
1
i
i
n
1
y
E
n
1
y
n
1
E
ˆ
E
一致性：[ ]
[ ]
n
n
1
y
V
n
1
y
n
1
V
ˆ
V
2
n
1
i
2
2
n
1
i
i
2
n
1
i
i
σ
=
σ
=
=
=
µ
∑
∑
∑
=
=
=
ｎが大きくなると標本平均の分散は０に近づく． 近似分布：n
(
µ
ˆ
−
µ
)
→
D
N
( )
0
,
σ
2
2
σ
を∑
=
n
1
i
2
i
uˆ
n
1
で代用するが，uˆ
y
ˆ
y
y
i
i
i
=
−
µ
=
−
なので，(
)
(
)
( )
0
,
1
N
y
y
n
1
y
n
D
2
/
1
n
1
i
2
i
→
−
µ
−
∑
=
３章 多変数回帰 ◇回帰式 以後は回帰式と DGP が一致している（特定化の誤りがない）場合は DGP で回帰式も表す．(
i
1
,
n
)
x
x
x
y
i
=
β
1
1
i
+
β
2
2
i
+
L
+
β
k
ki
+
ε
i
=
L
[ ]
[ ]
2
i
i
i
0
,
V
,
E
ε
=
ε
=
σ
ε
は各ｉに対して独立k
1
,
,
ˆ
ˆ
β
β L
を求める． ◇正規方程式 最小二乗法∑
{
(
)
}
=
+
+
+
−
=
n
1
i
2
ki
k
i
2
2
i
1
1
i
b
x
b
x
b
x
y
S
L
をk
1
,
,
b
b
L
を動かして最小化．最 小化したときのk
1
,
,
ˆ
ˆ
β
β L
をとする． 一階条件(
)
{
}
(
)
{
}
(
)
{
}
(
)
{
}
(
)
{
}
(
)
{
}
[
( )
]
(
)
{
}
0
x
x
b
x
b
x
b
y
2
x
x
b
x
b
x
b
y
2
b
x
b
x
b
x
b
y
x
b
x
b
x
b
y
x
b
x
b
x
b
y
b
x
b
x
b
x
b
y
x
b
x
b
x
b
y
b
b
S
n
1
i
ji
ki
k
i
2
2
i
1
1
i
n
1
i
ji
ki
k
i
2
2
i
1
1
i
j
ki
k
i
2
2
i
1
1
i
n
1
i
i
1
1
i
2
2
i
k
ki
2
ki
k
i
2
2
i
1
1
i
n
1
i
j
2
ki
k
i
2
2
i
1
1
i
n
1
i
2
ki
k
i
2
2
i
1
1
i
j
j
=
+
+
+
−
−
=
−
×
+
+
+
−
=
∂
+
+
+
−
∂
×
+
+
+
−
∂
+
+
+
−
∂
=
∂
+
+
+
−
∂
=
+
+
+
−
∂
∂
=
∂
∂
∑
∑
∑
∑
∑
=
=
=
=
=
L
L
L
L
L
L
L
これを満たす
b
1
,
L
,
b
k
がβ L
ˆ
1
,
,
β
ˆ
k
であるから，(
)
{
y
ˆ
x
ˆ
x
ˆ
x
}
x
0
(
j
1
,
,
k
)
n
1
i
ji
ki
k
i
2
2
i
1
1
i
−
β
+
β
+
L
+
β
=
=
L
∑
=
が満たす べき方程式．(
1
1
i
2
2
i
k
ki
)
i
i
y
ˆ
x
ˆ
x
ˆ
x
uˆ
=
−
β
+
β
+
L
+
β
に注意すると，(
j
1
,
,
k
)
0
x
uˆ
n
1
i
ji
i
=
=
L
∑
=
となり，残差と説明変数の積和が０というのが正規方程式． ◇計算方法 ① 連立方程式（ｋ本の） ② 偏回帰係数の計算 １）ji
x
（ｊ番目の説明変数）を残りの変数に回帰し， 最小二乗法を行う． つまり，*
ji
ki
k
i
,
1
j
1
j
i
,
1
j
1
j
i
1
1
ji
x
x
cˆ
x
cˆ
x
cˆ
x
cˆ
x
+
+
+
+
+
+
=
L
−
−
+
+
L
回帰残差をx
*
ji
とする． ２）y
i
をx
*
ji
に回帰し，最小二乗法を行う．つまり，y
i
=
β
ˆ
*
j
x
*
ji
+
uˆ
*
i
( )
∑
∑
=
=
=
β
n
1
i
2
*
ji
n
1
i
*
ji
i
*
j
x
x
y
ˆ
（偏回帰係数） 実は，j
*
j
ˆ
ˆ
=
β
β
（偏回帰係数は最小二乗法推定量と一致） ３）さらに，y
i
をｊ以外の変数に回帰し，最小二乗法を行った残差をy
*
i
とすれば，つまり，*
i
ki
k
i
,
1
j
1
j
i
,
1
j
1
j
i
1
1
i
y
x
aˆ
x
aˆ
x
aˆ
x
aˆ
y
+
+
+
+
+
+
=
L
−
−
+
+
L
としたなら，*
*
*
uˆ
x
ˆ
y
=
β
+
となり， * j j
ˆ
ˆ
=
β
β
で，しかも，uˆ
iは元の回帰式の最小二乗法残差と一致．（部分回帰則３とする） 注意： ①ｎ変数に関しては上記の手順を繰り返す．つまり， * ji ki k i , 1 j 1 j i , 1 j 1 j i 1 1 jix
x
cˆ
x
cˆ
x
cˆ
x
cˆ
x
+
+
+
+
+
+
=
L
− − + +L
で * jix
を計算する時に３）を適用する． それを，一変数になるまで繰り返す． ② モデルy
i=
α
+
β
x
i+
ε
iの場合，まず，x
i
を１に回帰して，その残差はx
*x
ix
i=
−
となるから，ｙを * ix
に回帰して，( )
( )
(
)
( )
∑
∑
∑
∑
∑
∑
∑
= = = = = = =−
=
−
=
=
β
n 1 i 2 * i n 1 i i * i n 1 i 2 * i n 1 i * i n 1 i i * i n 1 i 2 * i n 1 i i * ix
y
y
x
x
x
y
y
x
x
y
x
ˆ
（証明は教材プリント参照） ◇ 偏相関係数 k 1,
,
z
z
xy
r
L
：z
1
,
L
,
z
k
の影響をｘとｙとの取り除いた偏相関係数 まず，最小二乗法による回帰によってｘとｙの影響を取り除いた回帰残差を求める * i ki k i 1 1 i * i ki k i 1 1 iy
z
dˆ
z
dˆ
y
x
z
cˆ
z
cˆ
x
+
+
+
=
+
+
+
=
L
L
その結果を利用して( )
∑
( )
∑
∑
= = ==
n 1 i 2 * i n 1 i 2 * i n 1 i * i * i z , , z xyy
x
y
x
r
k 1L で定義 注意：(
)(
)
(
)
∑
(
)
∑
∑
= = =−
−
−
−
=
=
=
n 1 i 2 i n 1 i 2 i n 1 i i i | xy 1 xy xyy
y
x
x
y
y
x
x
r
r
r
定数 これに従って以下定数項を含む場合は，無視して1
xy
xy
r
r
=
と書こう．(
)
(
)
(
)(
)
(
z
z
)
(
z
z
)
z
z
x
x
x
x
z
z
cˆ
x
x
z
cˆ
z
cˆ
x
x
x
i n 1 i 2 i n 1 i i i i i 2 i i 2 2 i * i−
−
−
−
−
−
=
−
−
−
=
−
+
−
=
∑
∑
= = 同様に，(
)(
)
(
z
z
)
(
z
z
)
z
z
y
y
y
y
y
n i 1 i 2 i n 1 i i i i * i−
−
−
−
−
−
=
∑
∑
= =従って，
(
)(
)
(
)
(
)
(
)(
)
(
)
(
)
(
)(
)
(
)(
) (
)(
)
(
)
(
zy)
1 zz xz xy n 1 i 2 i n 1 i i i n 1 i i i n 1 i i i n 1 i i n 1 i 2 i n 1 i i i i i n 1 i 2 i n 1 i i i i n 1 i * i * iS
S
S
S
n
z
z
z
z
y
y
z
z
x
x
x
x
y
y
z
z
z
z
z
z
x
x
x
x
z
z
z
z
z
z
y
y
y
y
y
x
− = = = = = = = = = =−
=
−
−
−
−
−
−
−
−
=
−
−
−
−
−
−
−
−
−
−
−
−
=
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
また，( )
(
)(
)
(
)
(
)
(
)
(
)(
)
(
)
(
1)
zz 2 xz xx n 1 i 2 i 2 n 1 i i i n 1 i 2 i n 1 i 2 i n 1 i 2 i n 1 i i i i n 1 i 2 * iS
S
S
n
z
z
z
z
x
x
x
x
z
z
z
z
z
z
x
x
x
x
x
− = = = = = = =−
=
−
−
−
−
−
=
−
−
−
−
−
−
=
∑
∑
∑
∑
∑
∑
∑
同様に，( ) (
1)
zz 2 yz yy n 1 i 2 * in
S
S
S
y
− =−
=
∑
よって，( )
( )
(
)
(
) (
)
(
)(
2)
yz 2 xz zy xz xy 1 yy 1 zz 2 yz yy 1 xx 1 zz 2 xz zz yy zy zz xx xz yy xx xy 1 zz 2 yz yy 1 zz 2 xz xx zy 1 zz xz xy n 1 i 2 * i n 1 i 2 * i n 1 i * i * i z xy z , 1 xyr
1
r
1
r
r
r
S
S
S
S
S
S
S
1
S
S
/
S
S
S
/
S
S
S
/
S
S
S
S
S
S
S
S
S
S
S
y
x
y
x
r
r
−
−
−
=
−
−
−
=
−
−
−
=
=
=
− − − − − − − = = =∑
∑
∑
◇ 多重共線性（マルチコリニアリティ） ・ ある説明変数が他の説明変数の線形和＝一次式で表される場合を言う． ・ この場合，係数は一意に確定しないので，多くの回帰ソフトではエラーとなる． ・ 厳密にある説明変数が他の説明変数の線形和＝一次式で表され無くても，近似的に線形和で表せる場合 には，推定した係数値が不安定になる． ◇ 決定係数 単回帰と同様 ３ 最小二乗推定量の分布 ◇ 係数の分散
( )
∑
∑
= ==
β
n 1 i 2 * ji n 1 i * ji i jx
x
y
ˆ
より，(
)
( )
∑
∑
= =ε
+
β
+
+
β
=
β
n 1 i 2 * ji n 1 i * ji i ki k i 1 1 jx
x
x
x
ˆ
L
* ji ki k i , 1 j 1 j i , 1 j 1 j i 1 1 jix
x
cˆ
x
cˆ
x
cˆ
x
cˆ
x
+
+
+
+
+
+
=
L
− − + +L
より，(
m
j
)
0
x
x
n 1 i mi * ji=
≠
∑
= であるから，(
)
( )
∑
( )
∑
∑
∑
= = = =ε
+
β
=
ε
+
β
=
β
n 1 i 2 * ji n 1 i i * ji n 1 i 2 * ji n 1 i * ji i * ji j jx
x
x
x
x
ˆ
となり，単回帰と同様な式（ただし単回帰ではx
x
ix
* i=
−
）となるので，( )
( )
∑
=σ
=
β
n 1 i 2 * ji 2 jx
ˆ
V
◇ ｔ統計量( )
∑
∑
= =β
−
β
n 1 i 2 * i n 1 i 2 i j jx
n
uˆ
ˆ
は近似的にN
( )
0
,
1
(平均 0 分散 1 正規分布) ◇ 係数間の共分散と相関係数( )
∑
∑
= =ε
=
β
−
β
n 1 i 2 * ji n 1 i i * ji j jx
x
ˆ
より，
(
)(
)
[
]
( )
( )
( ) ( )
[ ]
[ ]
( ) ( )
∑
∑
∑ ∑
∑
∑
∑
∑ ∑
∑
∑
∑
∑
∑
= = = =+ = = = = =+ = = = = =ε
ε
+
ε
=
ε
+
ε
ε
=
ε
ε
=
β
−
β
β
−
β
n 1 i 2 * mi n 1 i 2 * ji n 1 i n 1 i p p i * mp * ji n 1 i 2 i mi * ji n 1 i 2 * mi n 1 i 2 * ji n 1 i n 1 i p p i * mp * ji n 1 i 2 i mi * ji n 1 i 2 * mi n 1 i i * mi n 1 i 2 * ji n 1 i i * ji m m j jx
x
E
x
x
2
E
x
x
x
x
x
x
2
x
x
E
x
x
x
x
E
ˆ
ˆ
E
[ ]
2 2 iE
ε
=
σ
，i
ε
の独立性よりE
[ ]
ε
iε
p=
0
であるから，( ) (
[
)(
)
]
( ) ( )
2 n 1 i 2 * mi n 1 i 2 * ji n 1 i * mi * ji m m j j m jx
x
x
x
ˆ
ˆ
E
ˆ
,
ˆ
Cov
σ
=
β
−
β
β
−
β
=
β
β
∑
∑
∑
= = = 相関係数は，(
)
( ) ( )
(
)
( ) ( )
( ) ( )
( ) ( )
∑
∑
∑
∑
∑
∑
∑
∑
= = = = = = = ==
σ
σ
σ
=
β
β
β
β
=
β
β
n 1 i 2 * mi n 1 i 2 * ji n 1 i mi * ji n 1 i 2 * mi 2 n 1 i 2 * ji 2 2 n 1 i 2 * mi n 1 i 2 * ji n 1 i mi * ji m j m j m jx
x
x
x
x
x
x
x
x
x
ˆ
V
ˆ
V
ˆ
,
ˆ
Cov
ˆ
,
ˆ
Cor
４．最小二乗推定量の諸性質 ・ 回帰に変数を追加すると残差は減少し， 2R
も減少する． （説明） i k i , 1 k 1 k i 1 1 i 0 0 ix
x
x
y
=
β
+
β
+
L
+
β
− −+
β
+
ε
（Ａ） i k i , 1 k 1 k i 1 1 ix
x
y
=
β
+
L
+
β
− −+
β
+
ε
（Ｂ） とする．ただし，（Ａ）の残差をuˆ
A，（Ｂ）の残差をuˆ
Bとすると， * By
uˆ
=
．また，最小二乗残差 * i 0x
を *x
cˆ
x
cˆ
x
cˆ
x
=
+
L
+
+
+
とすると，部分回帰則３から， Ai * i 0 0 Bi
ˆ
x
uˆ
uˆ
=
β
+
となる．ここから，( )
( )
( )
( )
( )
( )
( )
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
= = = = = = = = = = = = = =+
=
+
=
+
=
β
+
=
n 1 i 2 Bi yx n 1 i 2 Ai n 1 i 2 * i 0 n 1 i 2 Bi n 1 i 2 * i 0 2 n 1 i 0 i * i 0 n 1 i 2 Ai n 1 i 2 * i 0 2 n 1 i 2 * i 0 n 1 i 0 i * i 0 n 1 i 2 Ai n 1 i 2 * i 0 2 0 n 1 i 2 Ai n 1 i 2 Biuˆ
r
uˆ
y
uˆ
x
y
x
uˆ
x
x
y
x
uˆ
x
ˆ
uˆ
uˆ
0 ２ 他の説明変数 従って，∑
(
)
∑
( )
= =−
=
n 1 i 2 Bi yx n 1 i 2 Ai1
r
uˆ
uˆ
0 ２ 他の説明変数 ．1
≥
1
−
r
yx0≥
0
２ 他の説明変数 より，∑
∑
( )
= =≤
n 1 i 2 Bi n 1 i 2 Aiuˆ
uˆ
・ ｔ統計量の再定義と偏相関係数との関係 ［ｔ統計量］ いままでは，(
)
( )
∑
∑
= = ββ
−
β
=
n 1 i 2 * i n 1 i 2 i j jx
1
n
uˆ
ˆ
t
j と定義してきたが，次章で説明する自由度の関係から，(
)
( )
∑
∑
= = β−
β
−
β
=
n 1 i 2 * i n 1 i 2 i j jx
1
K
n
uˆ
ˆ
t
j と定義する． ［偏相関係数との関係］(
)
2 2 2r
1
r
K
n
t
j=
−
−
β ただし， 他の説明変数 j yxr
r
=
（説明） i k i , 1 k 1 k i 1 1 i 0 0 ix
x
x
y
=
β
+
β
+
L
+
β
− −+
β
+
ε
（Ａ） i k i , 1 k 1 k i 1 1 ix
x
y
=
β
+
L
+
β
− −+
β
+
ε
（Ｂ） とする．（Ａ）の残差をuˆ
A，（Ｂ）の残差をuˆ
Bとすると，(
)
∑
( )
∑
= =−
=
n 1 i 2 Bi yx n 1 i 2 Ai1
r
uˆ
uˆ
0 ２ 他の説明変数 となるが，ここから，
