応用統計 第 12 回
仮説検定 (2)
応用情報工学科
准教授 松野 裕
http://matsulab.org
2016 年 7 月 15 日
連絡
• 7月29日(金)2限、342教室で期末試験を行う。 – A4の紙2枚持ち込み可(手書きに限る)。
– 計算機の持ち込み可。ネットワークへの接続は不可。
– 試験範囲は中間試験より後の内容(推測統計)。試験時間は60分。
1 前回の演習について
1においてもし被験者数がn = 10人であった場合(標本平均、標本分散は変わらずX = 2, s2= 6.5とす る)、t = s/√nX−µ =√ 2
6.5/√10 = 2.48069、t0.1(9) = 1.833となりtの値は棄却域にあり、帰無仮説を棄却できる。 問題1,2とも帰無仮説を棄却することができなかったが、これは帰無仮説を否定することができる十分な データがなかったに過ぎず、積極的に帰無仮説を支持しているわけではない。
検定を行い、帰無仮説を棄却できない、できるという結果を得たとしても、当然その結果が100%正しいと は限らない。帰無仮説が間違っているにも関わらず、棄却できなかったり、正しいのにも関わらず、棄却して しまうこともありうる。検定を行う際には、これら2通りの誤りの可能性をできるだけ小さくする必要があ る。本授業では詳しく扱わないが興味があれば調べてほしい。
2 母平均(母分散既知) 、母分散、母比率の検定
2.1 母平均 ( 母分散既知 ) の検定
母分散既知の場合、z = σ/√nX−µ が標準正規分布に従うことから、これを検定統計量として検定を行える。
• 帰無仮説 H0: µ = µ0
• 対立仮説検定統計量z = X−µσ/√n0 を計算する。
– H1: µ ̸= µ0両側検定となる。棄却域は|z| > zα
2
– H1: µ < µ0左側検定となる。棄却域はz < −zα
2
– H1: µ > µ0右側検定となる。棄却域はz > zα
2
2.2 母分散の検定
帰無仮説H0: σ2= σ20の検定は標本不偏分散s2による検定統計量: χ2=(n − 1)s
2
σ2 にσ = σ0を代入して行われる。
• 対立仮説 H1: σ2̸= σ02の場合、
χ21−α/2(n − 1) < χ2< χ2α/2(n − 1)
の時はH0は棄却せず、それ以外は棄却する。
• 対立仮説 H1: σ2< σ02の場合、左片側検定
χ2< χ21−α(n − 1)
のときH0を棄却し、それ以外は棄却しない。
• 対立仮説 H1: σ2> σ02の場合、右片側検定
χ2> χ2α(n − 1)
のときH0を棄却し、それ以外は棄却しない。 例題 能力のばらつきの検定
ある小学校では入学時に知能テストを行っていたが、従来は平均50で分散36であった。本年度の児童に ついて25人をランダムに選び、例年と同じ条件でテストしたところ、平均53で分散48を得た。本年度は児 童の揃い方(ばらつき)が例年と違うと見てよいか。
• 帰無仮説 H0: σ2= 36
• 対立仮説 H1: σ2̸= 36
有意水準を10%で両側検定を行う。
χ2= 24 · 48 36 = 32
χ20.95(24) = 13.848、χ20.05(24) = 36.415であるからH0は棄却されない。本年度の児童の質の揃い方が特に 例年と変わっているとはいえない。分散が大きいことが特別の対応を要するときは、対立仮説をH1: σ2> 36 とすればよい。
2.3 母比率の検定
内閣支持率の調査のように、母集団が十分に大きく、母集団がp : 1 − pでA, B二つのグループに分かれて いる場合に、それから大きさnの標本を無作為に抽出するとき、Aに属するもの(たとえば内閣を支持する人 数)の数の確率変数をXとすれば、Xは2項分布に従う。
P (X = x) =nCx px(1 − p)n−x
E(X) = npであり、q = 1 − pとするとV (X) = npqである。標本の大きさが大きい場合、中心極限定理よ り、正規分布N (np, npq)に従うと見なせる。標本比率X/nは、
E(X n) =
1
nE(X) = p V (X
n) = 1
n2V (X) = pq
n を満たし、正規分布N (p,
pq
n)に従う。これを正規化した Z =
X n − p
√pq n
=
X n − p
√p(1−p) n
を統計検定料として、検定を行う。帰無仮説、対立仮説、棄却域の設定は、平均の検定などと同様である。 例題1. ある政党の支持率は昨年度55%であった。今年、無作為に抽出した有権者100人に聞き取り調査 を行ったところ、64人が支持すると答えた。支持率は昨年度より上昇したと言えるか、5%の有意水準で検定 せよ。
• 帰無仮説 p = 0.55
Z =
X n − p
√p(1−p) n
=
64 100− 0.55
√0.55(1−0.55) 100
• (右側)対立仮説 p > 0.55
Z =
X n − p
√p(1−p) n
=
64 100− 0.55
√0.55(1−0.55) 100
= 1.81
Z0.05 = 1.64より、1.81 > 1.64より、棄却域にあり、帰無仮説は棄却される。よって、支持率は昨年度より 上昇したといえる。
3 χ
2分布による適合性検定
χ2分布は、χ2検定(「検定」については後の講義で説明する)でよく使われる。χ2検定とは
観測されたデータの分布は、理論値の分布とほぼ同じと見なせるだろうか?
ということを示すための検定である。例を3つ示す*1。
•(例1)通行人100人を無作為に抽出したら男:女の比率が59:41だった。これは「男女比が1:1の集 団から、ランダムに抽出された100人である」と言えるか。(このくらいのバラつきは普通にあること なのか?それとも近くにあるお店などの影響で、そもそも男性の多い場所と判断できるか?)
•(例2)サイコロを120回ふったら、出た目がそれぞれ1の目25回、2の目27回、3の目20回、4の目 10回、5の目13回、6の目25回だった。このサイコロは歪んでいると言えるか。(このくらいのバラ つきは、普通のサイコロでも起こることなのか?それとも、やはり、このサイコロが歪んでいるのか?)
*1http://d.hatena.ne.jp/Zellij/20111202/p1
•(例3)日本人の血液型の割合はA型40%,B型20%,AB型10%,O型30%である。ある学校の生徒 100人の血液型はA型40人,B型28人,AB型12人,O型26人だった。「この学校の生徒の血液型分布 は,日本人全体の血液型分布とほぼ同じである」と言えるか。(このくらいの血液型のバラつきは普通 なのか?それとも、この学校には(なぜかわからないけど)B型の生徒が多くいると判断してよいか?) これらをχ2分布を用いて示すことができる(証明などは余裕があればぜひ調べて欲しい)原理は、
∑(O − E)2 E
がχ2分布に従うことである。ここでOは「観測された(Observed)」、Eは理論によって「予測された(期待
された)Expected」の意味である。サイコロの例を用いて、手順を示す。
1. 次の様な表を用意する。
サイコロの目 O E (O − E) (O − E)2 (O−E)
2
E
1 2 3 4 5
6
2. Oに実際に出た回数を記入する。
3. Eに、理論的に期待される値を記入する。120回振ったのだから、理論的には、それぞれの目は20回 出るはずである。
4. O − E, (O − E)2の値をそれぞれ埋める。その結果下の様になる。
サイコロの目 O E (O − E) (O − E)2 (O−E)
2
E
1 25 20 5 25 1.25
2 27 20 7 49 2.45
3 20 20 0 0 0
4 10 20 -10 100 5
5 13 20 -7 49 2.45
6 25 20 5 25 1.25
5. 右端の値の合計を求める。これがχ2値になる。今回は
1.25 + 2.45 + 0 + 5 + 2.45 + 1.25 = 12.4
6. χ2分布の自由度を求める。χ2検定の自由度は、「カテゴリー」から1を引いた数である。サイコロの 目の場合、目の種類がカテゴリーである。よって自由度は5である。
7. 自由度5の時、χ2値12.4がどれだけ珍しいか、5%の確率(有意水準5%)の時のχ2値χ20.05(5) = 11.0705と比較する。この場合、11.0705 < 12.4だから、5%の確率よりも低い確率であることが分か る。よって、このような目がでるサイコロは、正しいサイコロである可能性は極めて低いことがわかる。
4 χ
2分布による独立性検定
χ2分布は母分散についてのいろいろな検定に用いられたが、広く“ばらつき”についての検定の基準として も、近似的に用いられる。χ2分布の紹介として、適合度の検定を紹介した。今回は、独立性の検定について 説明する。
n個の個体に対して、二つの異なる属性A, B(例えばAとして性別、Bとして車を所有しているかどうか など)を同時に測定したとする。AはA1, . . . , Ar、B はB1, . . . , Bcのカテゴリーに分割されているとする。 例をあげる。表1はある大学の工学部の代数と解析の期末試験の成績である。縦軸は代数の成績の優、良、可 の人数、横軸は解析の優、良、可の人数を示している。例えば、全受講生42名のうち、代数が優で、解析が 良の学生は2名いることがわかる。このような表を分割表という。このような分割表において、独立とは、
表1 ある大学の工学部の期末試験の成績
代数(下) 解析(右) 優 良 可 計
優 4 2 3 9
良 8 4 6 18 可 6 3 6 15 計 18 9 15 42
P (Ai∩ Bj)の各確率に対して、
H0:すべてのi, j に対しP (Ai∩ Bj) = P (Ai)P (Bj)
であることを言う。H1はこの否定である。要するに、Ai, Bjは互いの起こり方に影響し合わない。Aiの方 から見れば、P (Ai|Bj) = P (Ai)である。H0が成り立つ場合の理論値に基づく分割表を作ってみる。それが 表2である。χ2による独立検定は、実際の分割表が、理論値に基づく分割表に有意に差があるかを検定する。 例えば、代数、解析ともに優である確率をH0が成立するとして計算する。代数が優である確率P (A優)は
表2 表1の理論度数
代数(下) 解析(右) 優 良 可 計 優 3.86 1.93 3.21 9 良 7.71 3.86 6.43 18 可 6.43 3.21 5.36 15 計 18 9 15 42
9
42、解析が優である確率P (B優)は 18
42 である。H0が正しければ、
P (A優∩ B優) = P (A優)P (B優) = 9 42·
18 42 である。全受講生は42名であるから、理論度数は
9 42·
18 42· 42 =
9 · 18 42 = 3.86
となる。これを一般化して、H0を仮定した場合の、P (Ai∩ Bi)の理論度数は
|Ai| · |Bj| n
で与えられる。ここで|Ai|, |Bj|はそれぞれAi, Bjの個数である。独立性検定は、χ2による適合性検定で用 いた
χ2=∑(O − E)
2
E
がχ2分布に従うことを利用する。独立性検定の場合、Oが得られた分割表、Eが理論度数に基づく分割表で ある。この例では
χ2= (4 − 9 · 18/42)2 9 · 18/42 +
(2 − 9 · 9/42)2
9 · 9/42 + · · · +
(6 − 15 · 15/42)2 15 · 15/42 = 0.19
となる。これと棄却域となるχ2分布の値と比較する。自由度は(縦のカテゴリ数− 1) · (横のカテゴリ数− 1) で与えられる。この場合、(3 − 1) · (3 − 1) = 4となる。有意水準を5%とすると、χ20.05(4) = 9.488である。 0.19 < 9.488より、H0は棄却されない。すなわち、有意水準5%で、代数と幾何の成績の独立性の仮説は棄 却されず、両者に関係があるとは言えない。