担当:鹿野(大阪府立大学)
2013 年度後期
はじめに
前回の復習
制約付きの回帰モデルのOLS推定とカイ2乗検定。
回帰係数の均一性の検定。
今回学ぶこと
漸近理論の基礎:大数の法則と中心極限定理。
推定量の漸近的性質 :一致性と漸近正規性、 漸近有効性。
テキスト該当箇所 :p62∼65、p333∼334。 東大出版会(1991)の8章も参照。
1 漸近理論の基礎
1.1 漸近理論とは?
漸近理論:サンプル数nが十分大きい場合の統計的推測を、 と呼ぶ。
⊲ 統計量の、 のときに成立する性質を利用。⇒簡単に言えば、「nが多いと きに許される近似」 のこと。
⊲ 例:nが多いならば、自由度m = n − Kのt分布T(m)の代わりに標準正規分布N(0, 1) を仮説検定に使える。
⊲ 漸近理論で基幹となる定理 :大数の法則(たいすうのほうそく) と中心極限定理。
小標本理論:一方、nが有限に固定された統計的推測を、 と呼ぶ。
⊲ 統計量の、nの大小にを問わず成立する性質を利用。
⊲ ∴ここまで登場した概念のほとんど (不偏性や有効性、 ガウス・マルコフの定理、t 検定など)は、小標本理論。
Remark:近年の計量経済学は、 漸近理論を重視。⇒そのメリットは?
1. でデータ分析ができる。(誤差項の正規性を置かない、 など。) 1
2. モデルによっては、不偏推定量が存在しない。⇒ を設け、推 定の性能を議論する必要性。
1.2 大数の法則と中心極限定理
一次元の独立な標本X1, X2, . . . , Xnを考える。(講義ノート#04。)
⊲ µ =母平均、σ2=母分散と置く。Xiを誤差モデルで表せば
Xi = µ + ui, Var(ui) = σ2. (1)
⊲ 標本が独立⇒ ¯Xの期待値・分散は
E( ¯X) = µ, Var( ¯X) = 1 nσ
2. (2)
∴分散がnに反比例。
⊲ 誤差項ui に ui ∼ N(0, σ2) を仮定しない限り、X¯ の分布型は不明。
X ∼¯ ?。
⊲ あえて正規性の仮定を置かずに、 何が言えるか考える。
大数の法則(X¯ の確率収束):n → ∞のとき、独立な標本の平均X¯ がµから外れる確率 は、ゼロに近づく。この性質を、 と呼ぶ。
⊲ このとき「X¯ はµに する」と言い、
plim ¯Xn= µ (3)
と表記。(plim=probability limit。)
⊲ ∴サンプルが多ければ、 標本の平均を母平均 (全体の平均) とみなしても良い!
⊲ 証明(図1参照):(2)式よりE( ¯X) = µなので、X¯ はいかなるnでもµを中心に分布。 一方分散Var( ¯X) = σ2
n はnに 。∴X¯ の分布は、n → ∞のとき の周り に集中。⇒ ¯Xがµ以外の値をとる確率は、 ほぼゼロ。
⊲ 厳密な証明⇒東大出版会(1991)のp160∼162参照。
中心極限定理(X¯の分布収束):n → ∞のとき、独立な標本のX¯の分布は正規分布N
µ,σn2 に近づく。この性質を、 と呼ぶ。
⊲ このとき「X¯ は正規分布に する」と言い、
¯ X∼ Na
µ,σ
2
n
(4)
と表記。(
∼a =asymptotically distributed、 漸近的に分布。)
⊲ 中心極限定理により、 標本でも、X¯ の分布を正規分布で近 似できる。⇒非常にムリのある仮定、 誤差項の正規性ui∼ N(0, σ2)が に!
⊲ 証明:非常に難しいので省略。 東大出版会(1991)のp164∼165参照。...中心極限定 理は、大数の法則よりもフシギな性質。
0.00.20.40.60.8
µ
図1: ¯Xの分布と大数の法則 (イメージ)
Remark:「収束」は「 」。簡単に言えば...
⊲ 大数の法則(確率収束):nが大きい⇒ µをX¯ で近似!
⊲ 中心極限定理(分布収束):nが大きい⇒ ¯Xの分布を正規分布N
µ,σn2で近似!
⊲ 「収束」と言うと分かりづらいが、 要は「nが大きいときに許される近似」。
1.3 確率収束の便利な性質
確率収束の公式:二つの統計量(確率変数)A, Bおよび定数cに関し、 1. plim c = c。
2. plim(cA) = c · plim(A)。 3. plim(Ac) = plim(A)c。
4. plim(A + B) = plim(A) + plim(B)。 5. plim(AB) = plim(A) · plim(B)、plimAB
= plim(A)plim(B)。
Remark:確率収束plim(·)は今後、これまで使ってきた のようなノリで
使う。
⊲ 期待値だと一般に E(Ac) E(A)c、E(AB) E(A) · E(B)、EAB E(A)E(B)。一方、plim(·) はこれらの計算が許される。∴plim(·)はE(·)よりも格段に使いやすい。
⊲ ... 直感的に成立しそうな等号は、たいてい成立⇒上の公式を !
2 一致性と漸近正規性、漸近有効性
2.1 推定量の漸近的性質・一般論
任意の確率モデルについて、 未知の母数をθ、その推定量を ˆθと置く。
⊲ 例:母数µ(母平均)に対し、推定量X¯(標本平均)。
⊲ 例:母数β(回帰係数)に対し、推定量βˆ(OLS)。
⊲ 標本が確率変数⇒標本から求めたˆθも、確率変数。
Remark:これまでの推定量の採用基準= と (講義ノート#04)。
⊲ 不偏性:E(ˆθ) = ˆθ。ˆθは確率変数なのでブレるが、期待値をとればθ。∴θが出やすい。
⊲ 有効性:不偏推定量のうち、 分散(ブレ)が最小。
⊲ 漸近的な採用基準⇒一致性と漸近正規性、 漸近有効性。
一致性:母数θとその推定量 ˆθについて
plim ˆθ = θ (5)
ならば、ˆθをθの と呼ぶ。
⊲ 一致性はなぜ望ましい?⇒ nが十分大きければ、推定値ˆθを未知のθとみなしてよい。
⊲ 一致性は漸近理論において、 推定量が最低限クリアしないといけない基準。
⊲ 例:大数の法則plim ¯X = µより、X¯ はµの一致推定量。
漸近正規性:一致推定量 ˆθが
ˆθ∼ Na θ,c n
(6)
ならば、ˆθをθの と呼ぶ。(cは定数。)
⊲ 漸近正規性はなぜ望ましい?⇒ nが大きければ、ムリに分布の仮定を置かなくとも、 標準化
Z = √ˆθ − θc /n
∼ N (0, 1)a (7)
をしてθのt検定、Z検定ができる。
⊲ ほとんどの一致推定量は、 漸近正規性も満たす。
⊲ 例:中心極限定理X¯∼ Na µ,σn2より、標本平均X¯ は母平均µの漸近正規推定量。
漸近分散と漸近有効性 :漸近正規統計量の分散を と呼び、
Avar(ˆθ) = cn (8)
と表記。(Avar=asymptotic variance。)
⊲ 「nが大きい時の近似」であることを強調するため、Var(ˆθ)と を区別し て表記。
⊲ 定数cは一般に未知⇒データから計算。
⊲ 例:X¯∼ Na µ,σn2の漸近分散はAvar( ˆβ) = σn2。σ2は未知なので標本分散s2で代用。
⊲ 最も小さい漸近分散をもつ漸近正規統計量を、 と呼ぶ。∴漸近 有効性は、複数の漸近正規統計量を絞り込む採用基準。
Remark:これまで登場した、 推定量の採用基準をまとめると
定義 小標本or漸近
不偏性 E(ˆθ) = θ 小標本(ノート#04)
有効性 最小分散の不偏推定量 小標本(ノート#04)
一致性 plim ˆθ = θ 漸近(今回)
漸近正規性 標本分布が正規分布で近似 漸近(今回) 漸近有効性 最小分散の漸近有効推定量 漸近(今回)
⊲ 漸近理論では が最も重要・基本∴小標本の不偏性のような役回り。
⊲ 漸近正規性により、 誤差項の正規性ui ∼ N(0, σ2)は不要に。
⊲ 漸近正規推定量が複数ある場合は ?⇒漸近有効性で勝負。
2.2 さまざまな推定量の一致性
Remark:標本平均以外のさまざまな統計量も、 母数に確率収束。
⊲ 標本分散と標本共分散 s2X = 1
n − 1
(Xi− ¯X)2, sXY =
1 n − 1
(Xi− ¯X)(Yi− ¯Y). (9)
⊲ 古典的仮定の下で、 回帰係数のOLS推定量。
標本分散・共分散の一致性:Xiの母分散、(Xi, Yi)の母共分散をそれぞれ σ2X = Var(Xi) = E
(Xi− µX)2,
σXY = Cov(Xi, Yi) = E(Xi− µX)(Yi− µY) (10) と置くと(µX, µYはXi, Yiの母平均)、
, . (11)
∴nが十分大きければ、s2
XをsXY、sXYをσXYと同等に扱ってよい。
⊲ 証明:今回の補足資料参照。
OLS推定量の一致性:単回帰モデルYi = α+βXi+uiについて、古典的仮定のうちCR1∼CR4 が成立が成立するならば、OLS推定量βˆは回帰係数βの一致推定量である。
. (12)
⊲ ∴OLS推定は、漸近的にも優れた性質を持つ。
⊲ 証明:CR1∼CR4が成立するとき(講義ノート#08)
E( ˆβ) = β, Var( ˆβ) = σ
2
SX X = σ2 (n − 1)s2X
. (13)
n → ∞のときVar( ˆβ) → 。∴大数の法則の証明と同様の原理で、plim ˆβ = β。
⊲ 誤差項の正規性CR5は不要である点に注意。
まとめと復習問題
今回のまとめ
漸近理論:大数の法則と中心極限定理。
推定量の漸近的な採用基準 :一致性と漸近正規性。
復習問題
出席確認用紙に解答し (用紙裏面を用いても良い)、 退出時に提出せよ。 1. 大数の法則とはどんな概念か ?簡潔に説明せよ。
2. plim A = −1、plim B = 4とする。次の演算を実行せよ。 (a) plimcAB(cは定数)。
(b) plim(√B)。
3. ある母数θに対し、複数の漸近正規推定量がある場合、どれを採用すべきか?簡潔に説明 せよ。