これらを不偏推定量といいます.これに習って!
が正しいかを確かめる事で とs2が不偏推定量であるか知る事ができるはずです.そこで 今,母集団から得られた標本をx1,x2,...,xnとすると,標本平均の期待値は!
となりました.つまり は不偏推定量です.では標本分散の期待値はどうでしょうか.!
! !
!
x
x
E (x) = µ E(ˆ s
2) =
2E (x) = E 1 n
n
i=1
x
i= 1 n E
n
i=1
x
i= 1 n nµ
= µ
E(s2) =E 1 n
n
i=1
(xi x)2
= 1 nE
n
i=1
(xi x)2
= 1 n
n
i=1
E (xi x µ+µ)2
= 1 n
n
i=1
E ((xi µ) (x µ))2
= 1 n
n
i=1
E (xi µ)2 2(x µ)1 n
n
i=1
E[xi µ] + 1 n
n
i=1
E (x µ)2
= 1 n
n
i=1
E (xi µ)2 E (x µ)2
= 2 2
n
となります.ということでs2は不偏推定量ではありませんでした.そこで改めて!
なるu2を置くと今度はその期待値はσ2に一致します.従ってu2の方が不偏分散だったとい う事になります.標本不偏分散を求めるのにわざわざn-1で割っていたのにはこういう意 味があるのでした.!
!
3.母集団の想定!標本を母集団から抽出して統計量を計算したら,いよいよ検定や推定といった解析へ進 めていきます.しかしその前に母集団を何かしらの確率分布で近似できたならば,それ以 後の統計解析はそのFitした確率分布の性質を利用しながら,より精度良く効率的に行う事 ができるでしょう.なぜなら「確率分布の形は決まったパラメータのみで決定される」か らです.例えば正規分布の形は平均と分散の二つのパラメータのみで決定されます.従っ て「異なる標本群が同じ母集団から得られたかどうか」といった問題は両方の標本が正規 分布に所属していると見なせる場合,標本平均や標本分散を比較するだけで抽出元の母集 団が同一だったか否かを判断できる事になるのです.これらのような確率分布の形を決定 するパラメータは母数と呼ばれ統計量の真の値として推定されます.!
!
正規分布!上でもちらっと話に出ましたが,確率分布の代表はなんといっても正規分布です.平均 μ,分散σ2の正規分布は以下の確率密度関数で表されます.!
驚くべき事に,独立な因子の和として表されるあらゆる確率変数はその数が十分に多数に なったときは(ほぼ)必ず正規分布に収束します.以下,その事実を保証する重要な二つの 定理を示しておきます
u
2= 1
n 1 s
2f (x) = 1
2
2e
(x2 2µ)2大数の(強)法則!
互いに独立で同一分布に従う確率変数X1,X2,...,Xnについて!
を満たす各定数が存在するとき,!
!
この式は平たくいえば,!
つまり試行を繰り返せば繰り返すほど標本平均は真の平均に近づく,ということを主張し ています.コイン投げで例えるならば,コインを永遠に投げ続ければ表と裏の割合は(コ インがフェアなら)1:1になるということですね.!
!
中心極限定理!互いに独立で同一分布に従う確率変数X1,X2,...,Xnについて!
を満たす各定数が存在するとき,以下で定義される確率変数Y!
は標準正規分布に収束する.すなわち,!
です.これは「確率変数の数が多くなればその分布は近似的に正規分布に従う」という定 理なのですが,重要なのは確率変数の元の分布に依らず成立する定理だという事です.そ のため,世の中の多くの統計的事象は正規分布で近似する事が可能になっているのです.
µ = E (X
i)
2
= V (X
i) i = 1, 2, · · · , n
4
= E(X
iµ)
4P r lim
n
X
1+ X
2+ · · · + X
nn = µ = 1
n
lim X = µ
µ = E (X
i)
2
= V (X
i) i = 1, 2, · · · , n
Y = n(X µ)
n
lim
n(X µ)
= 1
2 e
x2 2
dx
その他の確率分布!
正規分布からはさらにたくさんの確率分布が派生しています.主要な分布としてはt分 布,F分布,χ2分布が挙げられます.それぞれt検定,F検定,χ2検定で用いられている重 要な確率分布です.下にその分布の形を示します.!
!
それぞれ複数の検定手法の総称なのですが,その中でも特に代表的な用途を列挙します.!
!
F検定 !統計量F: 二つの群の標準偏差の比!
F分布: 統計量Fは両群とも正規分布に従っているときはF分布に従う!
目的: 1. 等分散性検定...独立した2群の分散が等しいかの検定!
2. ANOVA...複数の群について平均が等しいか否かの検定!
!
t検定 !統計量t: 二つの群の平均値の差!
t分布: 統計量tは両群共に正規分布に従うときにt分布に従う! 目的: 1. Studentのt検定...等分散を仮定した平均値の差の検定! 2. Welchのt検定...等分散を仮定しない平均値の差の検定!
!
χ2検定!統計量χ2: 各群の頻度の観測値と理論値の差を二乗し理論値で割った値の合計! χ2分布: 統計量χ2は(群の分布によらず)帰無仮説が正しければχ2分布に従う!
目的: 1. 適合度検定...観測された分布が理論分布に等しいかの検定!
2. 独立性検定...二つの群が独立しているのか従属してるかの検定
Fig.22-正規分布から派生した各分布.
パラメトリック vs ノンパラメトリック!
上で議論した通り,母集団の想定においてまず問題になるのは母集団の分布型について 仮定を置くか置かないかです. 母集団の分布型について仮定をおいた検定をパラメトリッ ク検定と言います.代表的なものは母集団の分布を正規分布と仮定し,そこから抽出した 標本の分布がt分布に従っている仮定するt検定でしょう.一方で母集団の分布型の仮定を おかない検定をノンパラメトリック検定と言います.間隔尺度ではなく順位などでしか個 体を評価できない場合,あるいは間隔尺度を使っていても母集団の分布が著しく歪んでい る場合はこの検定手法を適用します.代表的なものにはマン=ホイットニーのU検定 (=Wilcoxonの順位和検定)があります.!
!
パラメトリック検定の頑健性!実用的には間隔尺度を対象とした検定の場合,大抵はt検定が適用可能です.なぜなら,
標本数が少ないときはどの検定手法もその検出力は悪化するので”偽陽性”自体が減る一 方,標本数が多い場合は中心極限定理により母集団は必ず正規分布で近似できるので結局 どちらでもパラメトリックな検定手法を適用できるからです.これをパラメトリック検定 の頑健性と言います.また各種の検定手法を比較した最近の調査において母集団の分布型 が正規分布でなくともt検定がベターな検定手法であることも指摘されています.そもそ も”グレーゾーン”ではどの手法を使ったときでも強い事は言うべきではないので「検定手 法の選択はそこまで本質的な問題ではないし結局のところt検定一択で良い」と言えるで しょう.!
!
4.母数の検定,推定! 帰無仮説,対立仮説!
統計的仮説検定では「帰無仮説」と「対立仮説」の二つを立ててどちらが正しいかを判 断する訳ですが,なぜそのような回りくどい事をするのでしょうか?!
答えは簡単で「差があること」自体はそのままでは証明することができないからです.
つまり「差があること」を示そうとすると,まず規準となる「差」をあらかじめ設定して おかなくてはならないのですが,そもそもその「差」をこれから決めるために検定を始め たのだった...という循環論法に陥ってしまうのです.そのため,統計学では直接証明法で はなく背理法のような論法を使用します.つまり「差がない」という仮説(帰無仮説)をま ず設定し,その否定として「差がある」という仮説(対立仮説)を置くのです.「差がな い」という事象についてはそれが発生する確率を計算できますので,あとは有意水準αを 各自設定して,それを下回れば帰無仮説は棄却,つまり対立仮説を採用して「差がある」
と結論付けます.逆に有意水準を上回ればなんとも言えないので「判定は保留」という事 になります.!
ということでt検定などの大抵の検定は帰無仮説を棄却する事が”目標”となるのですが,
F検定は若干異なります.F検定は「正規分布に従う二つの群の標準偏差が等しい」ことを 帰無仮説に置いているので,帰無仮説が棄却されないときは両群は等分散と見なして良い,
えばt検定の前にF検定を行って帰無仮説が採択されれば等分散のt検定を,帰無仮説が棄 却されればWelchのt検定を行う,といった手順が良く組まれています.!
!
検定の種類!使用すべき検定は標本の形式と尺度で決まります.以下に代表的な手法を列挙します.
どれも重要な検定手法ですが,まず最初に覚えるべきはWelchのt検定とホルム法でしょ う.この二つを覚えておけばノンパラメトリックな問題も含めてだいたい正しい答えを得 る事ができます.最後の”キメ”の解析を行う際に細かな手順を踏むと良いと思います.!
!
[パラメトリック]!1標本→Z検定!
2標本→t検定,Welchのt検定!
分散の検定→F検定,バートレット検定,ANOVA!
!
[ノンパラメトリック]!2標本の検定→Wilcoxon符号付き順位和検定(関連),マン=ホイットニーのU検定(独立)!
多群比較→フリードマン検定(関連),クラスカル=ウォリス検定 (独立)!
多標本→χ2検定!
分散の検定→シャピロ=ウィルク検定!
!
[多重比較]!複数の標本があって総当たりで相互検定を行いたい場合,単純にt検定などを反復して は絶対にダメです.なぜなら,例えば有意水準を0.05に設定して反復した場合,検定を繰 り返すごとに誤って帰無仮説を棄却してしまう確率があがっていくからです.そこで繰り 返しても大丈夫な水準に有意水準を設定し直す方法が色々と考案されています.!
!
×古典的方法(決して使ってはダメな方法)→t検定やU検定の反復,LSD法,ダンカン法! △あんまり好ましくない方法→ボンフェローニ法,シェフェ法!◯まあOKな方法→テューキーのHSD,ダネット法,ウィリアムズ法! ◎現状でベストな方法(例えばRでは標準装備)→ホルム法 !