2017年4月18日 岡島 成治
ミクロデータ分析：単回帰パラメータ推定
回帰パラメーターを推定する。まず単回帰モデル
Y = β0+ β1X+ U (1)
の回帰パラメーター（β0, β1)を推定する。 1.モーメント法
単回帰モデルのは２つの仮定かある。 仮定1: 説明変数Xと誤差項Uは平均独立;
E[U |X] = E(U ) (2)
仮定２: 誤差項Uの母平均は0;
E(U ) = 0 (3)
この２つの仮定から
E[U |X] = E(U ) = 0となることが分かる。
まず説明変数Xと誤差項Uが平均独立であれば、共分散も０、つまりCov[X, U ] = 0となる。さらに E[U ] = 0という仮定のもとでは、説明変数Xと誤差項Uを掛け合わせたものの期待値E[XU ]も０になる。 誤差項の仮定の式E[U ] = 0とE[XU ] = 0という２つの式に、単回帰モデルを誤差項の式として書き直し たU = Y − β0+ β1Xを代入すると、
E[Y − β0+ β1X] = 0 (4)
E[X(Y − β0+ β1X)] = 0 (5)
となる。
(4)を期待値の性質を使って書き直すと E[Y ] − β0− β1E[X] = 0
となるので
β0= E[Y ] − β1E[X] となる。
次に(5)の左辺を整理すると
E[X(Y − β0+ β1X)] = E[XY ] − β0E[X] − β1E[XX]となり、この式にβ0= E[Y ] − β1E[X]を代入し て整理すると
E[XY ] − β0E[X] − β1E[XX]
= E[XY ] − (E[Y ] − β1E[X])E[X] − β1E[XX]
= E[XY ] − E[Y ]E[X] − β1(E[XX] − E[X]E[X])
= Cov[X, Y ] − β1V ar[X]
1
となる。この式の値が０なので、Cov[X, Y ] − β1V ar[X] = 0、つまり、 β1V ar[X] = Cov[X, Y ]となる。よって
β1= Cov[X,Y ]V ar[X]
と表すことができ、さらにβ1=Cov[X,Y ]V ar[X] をβ0= E[Y ] − β1E[X]に代入すると β0= E[Y ] −Cov[X,Y ]V ar[X] E[X]となる。
標本平均と使って実際に計算された回帰パラメータの推定値は、元の回帰パラメーターと区別するために βˆ1をつけて表す。
βˆ1=
1 n
∑n
i=1(xi− ¯x)(yi− ¯y) 1
n
∑n
i=1(xi− ¯x)2
(6)
βˆ0= ¯y− ˆβ1x¯ (7)
ここで、x¯はxの標本平均、y¯はyの標本平均である。 次に(6)の分母、分子をn− 1で割ってみると
βˆ1= xとyの標本共分散
xの標本分散 (8)
であることが分かる。
ところで、(6)を変形すると
βˆ1=
√∑n
i=1(yi− ¯y)2
√∑n
i=1(xi− ¯x)2
√∑n
i=1(yi− ¯y)
∑n
i=1(xi− ¯x)
√∑n
i=1(xi− ¯x)2
∑n
i=1(yi− ¯y)2
(9) となる。ここで相関係数ρの定義式を用いると
βˆ1= ｙの標準偏差
xの標準偏差 × ρ (10)
であることが分かる。
したがって回帰パラメーターβˆ1は相関係数ρと比例関係にあることが分かる。特にβˆ1= 0であればρ= 0 であり、その逆にρ= 0であれば、βˆ1 = 0が成立する。このことからも回帰分析は変数間の相関の強さを測 ていることが分かる。
2
