正規母集団の母分散に対しては,不偏分散とχ2分布を用いれば検定を行うことができる.ところで,
分散とは確率変数の値のばらつきの指標であることと,中心極限定理よりサンプルサイズが大きいとき は何らかの形で正規分布が現われることを加味すると,「ばらつき」とか「ずれ」に関する検定ではχ2 分布を使える可能性がある.特に有名なのが適合度検定と独立性の検定であり,標語的に
χ2=∑{観測度数 (Observed)−期待度数(Expected)}2
期待度数(Expected) =∑(O−E)2
E と書かれる検定統計量を用いる.
8.5 いわゆるχ2 検定の代表例 89
8.5.1 適合度のχ2 検定(χ2 goodness of fit test)
一回の試行で起こる結果がK個の排反事象A1, A2, . . . , AK に分かれており,各々の確率が帰無仮説 H0:P(A1) =p1, P(A2) =p2,· · · , P(AK) =pK
と与えられているとする.実際に観測データが与えられたとき,それが帰無仮説の分布と適合するかど うかを検定したい.
n 回 試 行 を 行 う と す れ ば H0 の 下 で の 各 事 象 の 期 待 度 数( 発 生 回 数 )は m1 = np1, m2 = np2,· · · , mK = npK である.これに対して実際の観測度数は f1,· · · , fK (∑K
i=1fi = n) だとし よう.
A1 A2 · · · AK 計 観測度数 f1 f2 · · · fK n 期待度数 m1 m2 · · · mK n このとき次の定理が知られている.
定理 8.20. nが大きい(全ての mi が mi≥10 を満たすことが一つの目安とされる)とき,帰 無仮説 H0 の下で
χ2=∑(O−E)2
E =
∑k i=1
(fi−mi)2 mi
は近似的に自由度k−1のχ2分布χ2k−1に従う.
特別な場合の証明. K= 2の場合は難しくないのでここに示す(一般の場合は??節参照).f2=n−f1, p2= 1−p1なので
χ2= (f1−m1)2
m1 +(f2−m2)2 m2
= (f1−np1)2 np1
+(n−f1−(n−np1))2 n(1−p1)
= (f1−np1)2 np1(1−p1)=
{
f1−np1
√np1(1−p1) }2
となる.ここでf1は二項分布B(n, p1)に従うのでnが大きければ中心極限定理から中括弧内は標準正 規分布に収束し,ゆえにその二乗は自由度1のχ2分布に従う.(一般の場合は二項分布ではなく多項分
布から極限をとる.) \(^o^)/
さて,もし観測データが帰無仮説に完全に適合していればfi=miでχ2= 0となり,適合度が悪く なればなるほど(fiとmiのずれが大きくなるほど)χ2の値は大きくなるはずである.従って棄却域は 上側α点により
P(χ2> χ2k−1(α)) =α で定める片側検定を行えばよい.
例 8.21. サイコロを120回ふった結果が下表のようになった.このサイコロはいびつかどうか有
意水準5%で検定せよ.
1 2 3 4 5 6 計
回数 18 25 17 20 22 18 120
【解説】 帰無仮説H0:P(A1) =P(A2) =· · ·=P(A6) = 1/6で期待度数はm1=· · ·=m6=
90 8 統計的仮説検定 120×1/6 = 20である.
χ2=(18−20)2
20 +(25−20)2
20 +· · ·+(18−20)2 20 = 2.3
だが,自由度6−1 = 5のχ2分布ではP[χ2 >11.07] = 0.05なのでχ2 = 2.3は5%棄却域には 入らない.従ってこのサイコロは有意水準5%でいびつとは言えない. \(^o^)/
例 8.22(メンデルの実験). エンドウの種子の形態について,丸型/しわ型と黄色/緑色の四つの組 合せがどのような割合で生まれるか実験したデータが下表である.ただし「理論確率」はメンデル の法則から導かれる理論値である.
黄・丸 黄・しわ 緑・丸 緑・しわ 計 理論確率 9/16 3/16 3/16 1/16 1 期待度数 312.75 104.25 104.25 34.75 556 観測度数 315 101 108 32 556 このデータからχ2値を計算すると
χ2=(315−312.75)2
321.75 +(101−104.25)2
104.25 +(108−104.25)2 104.25 +(32−34.75)2
34.75 = 0.470 自由度4−1 = 3のχ2分布では
P[χ2>7.815] = 0.05
なので実測値は棄却域に入らず,有意水準5%でメンデルの法則は棄却されない.
補足 8.23. 上の例はメンデルによる有名な実験に関するものである.実は,自由度3のχ2分布 で,メンデルの報告数値よりもよい数値(理論に近い数値)が得られる確率は
P[χ2<0.470] = 0.075
ほどしかないため,メンデルのデータは出来過ぎで,捏造ではないかという話も過去にはあったら しい.現在の一般的な見解として,メンデルが本当に捏造していたと考える人はほとんどおらず,
むしろメンデルの研究の凄さを示す逸話としてよく紹介される.ちなみに,メンデルの論文が世に 認められたのは彼の死後なので,本人が反論することはできなかったらしい.
例 8.24. 例A.36のデータでは,ある300日間の救急車の出動回数に関するデータは下表のよう になり,平均と分散はそれぞれ2.07と2.04だった.出動回数の分布がPoisson分布に適合してい ると言えるか有意水準5%で検定せよ.
回数 0 1 2 3 4 5 6 計 日数 38 75 89 54 20 19 5 300
【解答らしきもの】 帰無仮説を平均λ= 2.07のPoisson分布として p(k) =e−λλk
k! から期待度 数を300×p(k)で計算すると
回数 0 1 2 3 4 5 6 計 観測度数 38 75 89 54 20 19 5 300 期待度数 38 78 81 56 29 12 6 300
8.5 いわゆるχ2 検定の代表例 91
自由度7−1 = 6ではPχ2
6(χ2>12.59) = 0.05だが,実現値χ2=(38−39)2
39 +· · ·+(5−3)2
3 =
8.02は棄却域に入らないので,Poisson分布に適合していないとは言えない. \(^o^)/
注8.25. 上で「解答らしきもの」と書いたのは,実は正確ではないからである.というのも,この
例では平均をデータから推定しているので,自由度は7−1 = 6よりさらに下がるはずであり,安 全策をとるなら自由度5 のχ2 分布で検定すべきである.その場合でもPχ2
5(χ2>11.07) = 0.05 で実現値はやはり棄却域には入らないので結論は変わらない.
もちろん,あらかじめλ= 2 のように母平均が与えられているなら自由度は6でよい.厳密さ に欠けるが一般な目安として,期待度数を出す際の母数に推定値を用いると,推定値で置き換えた 母数の数だけ自由度が下がる.(正規母集団の不偏分散も標本平均を含むので自由度が1下がった χ2 分布に従うのだった.)
こんな事も気にしなければならないのは検定の嫌なところだが,検定の拠り所は確率なのだから その計算を出鱈目にやるわけにはいかない.
8.5.2 独立性のχ2 検定
n個の標本が二つの属性A, Bによって次のように分類されているとする.(このような表をr×s分 割表という.)
B1 B2 · · · Bs 計 A1 n11 n12 · · · n1s n1· A2 n21 n22 · · · n2s n2· ... ... ... . .. ... ... Ar nr1 nr2 · · · nrs nr·
計 n·1 n·2 · · · n·s n
ni·=
∑s j=1
nij, n·j =
∑r i=1
nij
このとき属性AとBが独立であるかどうかを検定したい.
表からはまずP(Ai) = ni·
n , P(Bj) = n·j
n と推定される.もしAとBが独立ならばP(Ai∩Bj) = P(Ai)P(Bj)なので(Ai, Bj)の期待度数mijは
mij =n×P(Ai∩Bj) =n·ni·
n ·n·j
n = ni·n·j
n となるはずである.従って,適合度検定と全く同じ考え方を使うことができる.
定理 8.26. nが大きいとき(全てのmij ≥5が一つの目安),帰無仮説「AとBは独立」の下で
χ2∑(O−E)2
E =
∑r i=1
∑s j=1
(nij−mij)2 mij
ただしmij =ni·n·j n は近似的に自由度(r−1)(s−1)のχ2分布に従う.
自由度については,Aに関する和とBに関する和でそれぞれ1減るものが掛け合わさるので(r−1)(s−1) になるとでも思っておけばよい.(注8.25の考え方によるなら,期待度数を出すために用いる確率が推 定値なので,その数r−1個とs−1個がよけいに落ちてrs−1−(r−1)−(s−1) = (r−1)(s−1) になる.)
92 8 統計的仮説検定
適合度検定のときと考え方は同じで,もし独立ならχ2= 0になり,ずれが大きいほどχ2の値は大き くなるはずなので,上側α点により棄却域を
P(χ2> χ2(r−1)(s−1)(α)) =α で定めればよい.
注 8.27. 適合度検定もそうだが,独立性の検定にχ2分布を使うのはあくまでも近似であり,状
況によってはχ2検定が適切でないこともある.特に2×2分割表で小さい要素を含むものでは近 似の精度がよくないのでそれを補正するために
χ2=
∑2 i=1
∑2 j=1
(
|nij−mij| − 1 2
)2
mij
を使うのがよいとされる.これをイエィツの補正 (Yates’ correction) という.Rなどの統計 ソフトであれば自動的に実行してくれる.
例 8.28. (時代遅れな例なので後で差し替える.)ある会社の社員60名についてパチンコをする
かどうかと喫煙者かどうかを聞くと下表のようになったとする.
パチンコする しない
煙草吸う 9 3 12
吸わない 18 30 48
27 33 60
帰無仮説「煙草とパチンコは無関係」の下での期待度数は
パチンコする しない 煙草吸う 27×12/60 = 5.4 33×12/60 = 6.6 吸わない 27×48/60 = 21.6 33×48/60 = 26.4 自由度(2−1)(2−1) = 1ではPχ2
1(χ2>3.84) = 0.05だが,χ2値を計算するとχ2= 5.4545(イ エーツの補正するとχ2 = 4.0446)なので,危険率5%で帰無仮説は棄却され,(少なくともこの 会社の社員については)煙草とパチンコは独立ではない.
例 8.29. インターネット広告としてA, Bの二種類を用意し,閲覧数と購入者数を集計すると次
のようになった.二つの広告の効果に差はあるか有意水準5%で検定するとどうなるだろうか.
閲覧数 購入者数 広告A 5555 256 広告B 6012 321
一つの方法は帰無仮説を「広告の種類と売上は独立」として独立性検定に持ち込むことである.こ の場合,上の表から
非購入者数 購入者数 広告A 5299 256 広告B 5691 321 となる.上側5%点は先程の例と同じくPχ2
1(χ2>3.84) = 0.05だが,χ2 値はχ2= 3.1016で棄 却域に入らないので,帰無仮説は棄却されず,広告の種類と売上は無関係であることを否定でき ない.