統計学 第
11
回: 仮説検定
担当者: 高木 真吾
講義資料等は,
http://sites.google.com/site/hustat2017/
質問等は,
stakagi@econ.hokudai.ac.jpまでお願いします.
December 15th, 2017
復習 2
正規母集団 . . . 3
導入:仮説の検証とは 5 仮説の検証 . . . 6
問題1:蛍光灯の寿命 . . . 7
解答1:蛍光灯の寿命 . . . 8
問題2:蛍光灯の寿命 . . . 9
解答2:改良した蛍光灯の寿命 . . . 10
仮説検定 11 仮説検定 . . . 12
検定の手順 . . . 13
母集団平均
µ
に関する仮説検定 16 問題2(つづき)H
0:
µ
=
µ
0,H
1:
µ > µ
0のタイプ. . . 17問題2:図解 . . . 18
問題1(つづき)
H
0:
µ
=
µ
0,H
1:
µ
6
=
µ
0のタイプ. . . 19問題2:図解 . . . 20
練習問題A:内容量検査:
H
0:
µ
=
µ
0,H
1:
µ < µ
0のタイプ . . . 21母集団比率
p
に関する仮説検定 22 問題3:視聴率の問題 . . . 23問題3解答:視聴率の問題 /
H
0:
p
=
p
0,H
1:
p < p
0のタイプ. . . 24練習問題B:視聴率の問題. . . 25
練習問題B解答:視聴率の問題. . . 26
復習
2 / 27
正規母集団
母集団分布:正規分布/母集団平均µX・母集団分散σ2X
大きさnの標本:{X1, X2, . . . , Xn},Xi∼N(µ, σ2)
標本平均,標本分散,基準化した標本平均,基準化した標本平均(σ
2
をS
2
で置換)
¯ X= 1
n n
X
i=1
Xi, S2X= 1 n−1
n
X
i=1
(Xi−X¯)2, ¯ X−µX
p
σ2
X/n
∼N(0,1), Xp¯ −µX
S2
X/n
∼t(n−1)
次のような統計量(確率変数)を考える
Z(k)≡pX¯ −k
σ2
X/n
(1)
このZ(k)は以下のように書き換えることができる
Z(k) = pX¯ −k
σ2
X/n
=Xp¯−µX
σ2
X/n
+pµX−k
σ2
X/n
(2)
1. µX=kのとき,Z(k)∼N(0,1)
2. µX> kのとき,第一項は標準正規分布,第二項は正の値:中心が正の方向へ
3. µX< kのとき,第一項は標準正規分布,第二項は負の値:中心が負の方向へ
図1(a)参照.
次のような統計量(確率変数)を考える
T(k)≡ pX¯ −k
S2
X/n
(3)
このT(k)は以下のように書き換えることができる
T(k) =pX¯ −k
S2
X/n
= Xp¯−µX
S2
X/n
+pµX−k
S2
X/n
(4)
1. µX=kのとき,Z(k)∼t(n−1)
2. µX> kのとき,第一項はt分布,第二項は正の値:中心が正の方向へ
3. µX< kのとき,第一項はt分布,第二項は負の値:中心が負の方向へ
図1(b)参照.
図1:
Z
(
k
)
,
T
(
k
)
の標本分布
-5 0 5
0.0
0.1
0.2
0.3
0.4
Z(k) の分布: µX=2 , σ
X 2
=1 , n=10
x
cbind(y1, y2, y3)
µX=
k µX>
k ( ex. k=1) µX<
k ( ex. k=3)
(a) 標本平均:正規分布
-5 0 5
0.0
0.1
0.2
0.3
0.4
T(k) の分布: µX=2 , n=10 ( σ
X 2
=1 )
x
cbind(y1, y2, y3)
µX=
k µX>k ( ex. k=1) µX<
k ( ex. k=3)
(b) 標本平均:t分布
統計学 第11回– 4 / 27
導入:仮説の検証とは
5 / 27
仮説の検証
統計調査には誤差が伴う
視聴率10%%以下なら打ち切り?
例)600世帯で調査を行う視聴率調査:目標視聴率10%,調査結果9.2%:目標達成ならず?
食品の目方は大丈夫?
例)300g入りの食品が出荷前に検査を受けた.1000個を無作為に抜き出し,重さを量ったところ平
均299g,分散20gであったとき,この程度は誤差といえるか?
どの程度の確信を持って,結論を下せるのか?仮説検定ではこの問題に答える.
すべてを調べ尽くすわけではないので厳密な断定はできない
統計調査に伴う誤差なのか,それともそれ以上に何か理由があって乖離していると言えるのか
この点を標本を手掛かりにして判断するのが仮説の検定.
統計学 第11回– 6 / 27
問題1:蛍光灯の寿命
ある蛍光灯の寿命に関して,設計通りならば定格寿命6000時間とされている
また寿命に関して,個々の製品ごとに製造時の異物混入や実験場の不備等で若干寿命がばらつくものの,
寿命の差異はだいたい正規分布に従うとされている.
ここから製品6個を抜き出し,寿命について調査をしたところ,{6005,5930,5940,5930,6000,5970}(単
位:時間)となった.
1. 寿命までの時間の平均値,分散値を求めてください.
2. 6000時間は持続するとされているので,寿命に関する真の平均(母集団平均)が6000時間であること
を仮説として表現するとどうなりますか?
統計学 第11回– 7 / 27
解答1:蛍光灯の寿命
大きさnの標本{X1, X2, . . . , Xn}に関して,標本平均・標本分散は以下のように与えられる
¯ X= 1
n n
X
i=1
Xi, S2= 1 n−1
n
X
i=1
(Xi−X¯)2
この標本平均・標本分散は,母集団平均µ,母集団分散σ2を偏りなく推定する.
1. 問題の観測値{6005,5930,5940,5930,6000,5970}を用いて,平均値,分散値を計算すると,
¯ x =
+· · ·+
≈
s2 = 1
{( − )
2+
· · ·+ ( − )
2
} ≈
となった.
2. 寿命の平均が6000時間持続すると考えると,母集団平均µを用いて, と表現できる.
3. 寿命の平均が6000時間持続することが成り立たないので と表現できる.
µ= 6000とµ6= 6000,上のデータからは,この二つのうちどちらがもっともらしいか?
すべてを調べ尽くさない限り,厳密にµ= 6000かどうかはわからない
「調査」をするので若干の誤差は必然:結果からわかる6000との乖離は偶然の産物か,意味が有って
異なっているのか.
統計学 第11回– 8 / 27
問題2:蛍光灯の寿命
改良した蛍光灯の寿命に関して,設計通りならば従来の定格寿命6000時間を越えるとされている
また寿命に関して,個々の製品ごとに製造時の異物混入や実験場の不備等で若干寿命がばらつくものの,
寿命の差異はだいたい正規分布に従うとされている.
ここから製品7個を抜き出し,寿命について調査をしたところ,
{6010,6000,5980,5990,6000,6040,6100}(単位:時間)となった.
1. 寿命までの時間の平均値,分散値を求めてください.
2. 6000時間は持続するとされているので,寿命に関する真の平均(母集団平均)が6000時間であること
を仮説として表現するとどうなりますか?
3. 6000時間ではないとするとどうなると考えられますか?
解答2:改良した蛍光灯の寿命
大きさnの標本{X1, X2, . . . , Xn}に関して,標本平均・標本分散は以下のように与えられる
¯ X= 1
n n
X
i=1
Xi, S2= 1 n−1
n
X
i=1
(Xi−X¯)2
この標本平均・標本分散は,母集団平均µ,母集団分散σ2を偏りなく推定する.
1. 問題の観測値{6010,6000,5980,5990,6000,6040,6100}を用いて,平均値,分散値を計算すると,
¯ x =
+· · ·+
≈
s2 = 1
{( − )
2+
· · ·+ ( − )
2
} ≈
となった.
2. 寿命の平均が6000時間持続すると考えると,母集団平均µを用いて, と表現できる.
3. 改良した製品の寿命の平均は6000時間以上持続すると考えられているので と表現できる.
µ= 6000とµ >6000,上のデータからは,この二つのうちどちらがもっともらしいか?
統計学 第11回– 10 / 27
仮説検定
11 / 27
仮説検定
仮説検定とは
帰無仮説(問題1では, )
対立仮説(問題1では, )
の二つをデータから判断してどちらがもっともらしいかを見る方法である
具体的には,『帰無仮説が正しい』という仮説を棄却するか,しないかで判断する
『帰無仮説が正しい』という仮説を棄却:対立仮説の方がもっともらしい
『帰無仮説が正しい』という仮説を棄却できない:帰無仮説の方がもっともらしい
検定の手順
考え方:二
=====
つ
=====
の
=====
仮
=====
説
=====
からどちらが妥当かを判断する
一方の仮説が正しいと想定し, 統
˜˜˜˜
計
˜˜˜˜
量
˜˜˜˜
を考える
その統計量が, あ
∼ ∼ る ∼ ∼
低 ∼ ∼
い ∼ ∼
確 ∼ ∼
率 ∼ ∼
以下でしか起きないはずのことが観測できたら,最初の想定がおかし
いと考える
手順:
1. 二つの仮説を立てる(帰無仮説H0と対立仮説H1)
2. 有意水準を定める
上記,太破線の低い確率=有意水準(通常,5%か1%と定めることが多い)
仮説検定では,「(帰無仮説が正しいとしても,非常に小さい確率 で発生するかもしれないが)普通は対
立仮説が正しいから起きるような事態」が起きたら帰無仮説を棄てて,対立仮説を採用すると考える
3. 検定統計量を定める(上記,破線)
データから計算できる量
帰無と対立それぞれの仮説の下で特徴的な傾向
4. 棄却域を決める(棄却のためのルール:検定統計量の実現値がこの領域に入ること)
棄却域とは,帰無仮説が正しいとき検定統計量の実現値が出にくく,対立仮説が正しいときには実現
しやすい領域となるように選ぶ
帰無仮説が正しいとき,この領域で実現する確率は有意水準となるようにして設定する
5. 検定統計量の値が棄却域に含まれるかどうかをみる
棄却域に含まれるとき,帰無仮説を棄てる
棄却域に含まれないとき,帰無仮説を棄てない
統計学 第11回– 13 / 27
仮説検定における二種類の誤りと望ましい検定
第一種の過誤(Type I Error):帰無仮説が正しいのに,帰無仮説を捨てる誤り
第一種の過誤の発生確率:帰無仮説が正しいとき,検定統計量の値が棄却域に入る確率
第二種の過誤(Type II Error):帰無仮説が正しくないのに,帰無仮説を捨てない誤り
第二種の過誤の発生確率:対立仮説が正しいとき,検定統計量の値が棄却域に入らない確率
検出力(Statistical Power):帰無仮説が正しくないとき,帰無仮説を棄却する確率
1− 第二種の過誤の発生確率:対立仮説が正しいとき,検定統計量の値が棄却域に入る確率
望ましい検定(の一つ)
なるべく検出力が高い
第一種の過誤はあまり大きくない
望ましい検定の作り方
第一種の過誤を小さい値に固定して,棄却域を選ぶ
この値を「有意水準」という名前でよび,5%か1%とするのが慣例.
例
コインが公平なものである(表も裏も等しい確率で出る)ことを調べたい.
帰無仮説:コインが公平(表が出る確率がp= 1/2)
対立仮説:コインは公平でない(ここでは,表が出る確率がp= 1/5と考える)
判定基準:コインを5回投げて,そのうち 表が1回以下 ならこのコインが公平でないと判断
Type I Error:
Pr[Y ≤1|p= 1/2] =5C0
1 2 0 1 2
5−0 +5C1
1 2 1 1 2
5−1
= 0.1875
Type II Error:
Pr[Y ≥2|p= 1/5] =5C2
1 5 2 4 5
5−2
+· · ·+5C5
1 5 5 4 5
5−5
= 0.26272
検出力:Pr[Y ≤1|p= 1/5] = 1−0.2672 = 0.7328
第一種の過誤は比較的高い確率で生じるが,検出力は高い
判定基準:コインを5回投げて,そのうち 表が4回以上 ならこのコインが公平でないと判断
Type I Error:
Pr[Y ≥4|p= 1/2] =5C4
1
2 41
2 5−4
+5C5
1
2 51
2 5−5
= 0.1875
Type II Error:
Pr[Y ≤3|p= 1/5] =5C0
1
5 04
5 5−0
+· · ·+5C3
1
5 34
5 5−3
= 0.99328
検出力:Pr[Y ≥4|p= 1/5] = 1−0.99328 = 0.00672
第一種の過誤は上の場合と同じであるが,検出力は著しく低い.つまり,この判定基準での検定は,
帰無仮説の誤りをほとんど検出してくれない.上の方で作った判定基準(「一回以下なら棄却」)の方
が良い検定と考えるのが妥当であろう.
判定基準:コインを5回投げて,そのうち 表が2回以下 ならこのコインが公平でないと判断
Type I Error:
Pr[Y ≤2|p= 1/2] =5C0
1
2 01
2 5−0
+5C1
1
2 11
2 5−1
+5C2
1
2 11
2 5−2
= 0.5
Type II Error:
Pr[Y ≥3|p= 1/5] =5C3
1
5 34
5 5−3
+5C4
1
5 44
5 5−4
+5C5
1
5 54
5 5−5
= 0.05792
検出力:Pr[Y ≤2|p= 1/5] = 1−0.05792 = 0.94208
第一種の過誤は上の場合に比べ大きいものの,検出力は高い.つまり,この判定基準での検定は,帰
無仮説の誤りを指摘する確率は高いが,第一種の過誤を犯す可能性も高い.上の方で作った判定基準 (「一回以下なら棄却」)と比較するのは難しい
検定の良さを比べるなら,第一種の過誤の大きさはそろえた方が良い.
母集団平均
µ
に関する仮説検定
16 / 27
問題2(つづき)
H
0:
µ
=
µ
0,H
1:
µ > µ
0のタイプ
問題2を用いて,改良した蛍光灯の寿命が平均的に6000時間を越えるかどうかの検定を行う
1. 帰無仮説 / 対立仮説
2. 有意水準は5%とする
3. 検定統計量として を考える.
このTはH0:µ= 6000が正しいとき, となって(4)式より, に従う.
このTはH1:µ >6000が正しいとき,本当の母集団平均µが6000より大きいので(4)式より, T = X√¯−6000
S2/n は大きな正値をとりやすい傾向がある
4. 棄却域は図より,有意水準を5%とすると となる.
5. 検定統計量の値は以下のように なので棄却域に .
t= x¯p−6000
s2/n =
−
q
/
=
したがって帰無仮説H0:µ= 6000は ので,新製品の寿命が延びたという結論を,いまある データから結論することはできない.
統計学 第11回– 17 / 27
問題2:図解
-4 -2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
x
H
0:µ = µ0
が正しい
t = 2.015
-4 -2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4 H
1
が正しい:µ > µ
0
H
1
が正しい:µ >> µ
0
H
1
が正しい:µ >>> µ
0
-4 -2 0 2 4 6 8
0.0
0.1
0.2
0.3
0.4
問題1(つづき)
H
0:
µ
=
µ
0,H
1:
µ
6
=
µ
0のタイプ
問題1を用いて,蛍光灯の寿命が平均的に6000時間かどうかの検定を行う
1. 帰無仮説 / 対立仮説 有意水準
2. 有意水準は5%とする
3. 検定統計量として を考える.
このTはH0:µ= 6000が正しいとき, となって(4)式より, に従う.
このTはH1:µ6= 6000が正しいとき,本当の母集団平均が6000より大きい,あるいは小さいので (4)式より,T =
¯
X√−6000
S2/n は0から離れる値をとりやすい傾向がある
4. 棄却域は図より,有意水準を5%とすると あるいは となる.
5. 検定統計量の値は以下のように なので棄却域に .
t= x¯p−6000 s2/n =
−
q
/
=
したがって帰無仮説H0:µ= 6000は ので,この製品の寿命が6000時間であると結論すること はできない.
統計学 第11回– 19 / 27
問題2:図解
-6 -4 -2 0 2 4 6
0.0
0.1
0.2
0.3
0.4
x
H
0:µ = µ0
が正しい
t: Pr[T>t]=0.025 t: Pr[T<t]=0.025
-6 -4 -2 0 2 4 6
0.0
0.1
0.2
0.3
0.4
H
1
が正しい:µ < µ
0
H
1
が正しい:µ << µ
0
H
1
が正しい:µ > µ
0
H
1
が正しい:µ >> µ
0
-6 -4 -2 0 2 4 6
0.0
0.1
0.2
0.3
0.4
練習問題
A:内容量検査:
H
0:
µ
=
µ
0,H
1:
µ < µ
0のタイプ
300g入りの食品が出荷前に検査を受けた.1000個を無作為に抜き出し,重さを量って検査を
行った.
内容量(重さ)に関しては,正規分布に従うと仮定できるものとする.
平均値299g,分散値20gであったとき,この程度は誤差といえるか?
1. 真の平均をµとしてこの問題にふさわしい帰無仮説と対立仮説を立ててください.
2. その上で,有意水準5%で検定を行ってください
ヒント)本当に知りたいことは「真の(内容量の)平均が300であるかどうか」である
解答例 問題の設定よりn= ,x¯= ,s2= である.
1. 帰無仮説 / 対立仮説 (300g以上なら消費者に損はない)
2. 有意水準は5%とする
3. 検定統計量として を考える.
このTはH0:µ= 300が正しいとき,T =
¯
X−µ √
S2/nとなって(4)式より, に従う.
このTはH1:µ <300が正しいとき,本当の母集団平均が300より小さいので(4)式より T =√X¯−300
S2/nは非常に小さい負値をとりやすい傾向がある
4. 棄却域は図より,有意水準を5%とすると となる(nが大きいとき,表の下段を利用).
5. 検定統計量の値は以下のように なので棄却域に .
t= x¯p−300
s2/n =
−
q
/
=
したがって帰無仮説H0:µ= 300は ので,傾向的にはほんのわずかに少ないだけのように見 えるが,1000個も調べてこの結果であれば統計的には強く300g以下であると主張できる.
-8 -6 -4 -2 0 2 4
0.0
0.1
0.2
0.3
0.4
x
H
0:µ = µ0
が正しい
z = -1.64
0.1
0.2
0.3
0.4 H
1
が正しい:µ < µ
0
H
1
が正しい:µ << µ
0
H
1
が正しい:µ <<< µ
0
0.1
0.2
0.3
統計学 第11回– 21 / 27
母集団比率
p
に関する仮説検定
22 / 27
問題3:視聴率の問題
600人にある番組を見たかどうかを尋ねたところ,55人が「見た」と回答した
真の視聴率が10%未満であると打ち切りの問題が出るので,統計的に10%とみなせるのか,それとも10
%未満とみなすべきなのかが知りたい
上の問題を有意水準5%で検定してください
重要なヒント)真の視聴率(母集団比率)がpであるとき,近似的に次の結果が成り立つ
Z= p X¯ −p
p(1−p)/n ∼N(0,1), ¯
Xは1(「見た」)となる割合
つまり上のZは標準正規分布に従う.
統計学 第11回– 23 / 27
問題3解答:視聴率の問題 /
H
0:
p
=
p
0,
H
1:
p < p
0のタイプ
問題の設定よりn= ,x¯= / = である.
1. 帰無仮説 / 対立仮説
2. 有意水準は5%とする
3. 検定統計量として を考える.
このZはH0:p= 0.10が正しいとき,Z =
¯
X−p √
p(1−p)/n
となって(2)式より,標準正規分布に従う
(p= 0.10が成り立っていているので(5)式と比較する) a
このZはH1:p <0.10が正しいとき,本当の母集団比率が0.10より小さいのでZ=
¯
X−0.10 √
0.10·(1−0.10)/n は非常に小さい負値をとりやすい傾向がある
4. 棄却域は図より,有意水準を5%とすると となる(nが大きいとき,表の下段を利用).
5. 検定統計量の値は以下のように なので棄却域に .
z= q x¯−0.10
/
=
−
q
/
=
したがって帰無仮説H0:p= 0.10は ので,この調査結果から視聴率が10%を割り込んでいる という強い主張はできない.
a
分母にも,帰無仮説H0が正しいときの母集団比率を入れるところがポイント.
練習問題
B:視聴率の問題
先ほどの調査が6000人について行われたとすればどうなるか?
つまり,6000人にある番組を見たかどうかを尋ねたところ,550人が「見た」と回答した
真の視聴率が10%未満であると打ち切りの問題が出るので,統計的に10%とみなせるのか,それとも10
%未満とみなすべきなのかが知りたい
上の問題を有意水準5%で検定してください
統計学 第11回– 25 / 27
練習問題
B解答:視聴率の問題
問題の設定よりn= ,x¯= / = である.
1. 帰無仮説 / 対立仮説
2. 有意水準は5%とする
3. 検定統計量として を考える.
このZはH0:p= 0.10が正しいとき,Z =
¯
X−p √
p(1−p)/n
となって(5)式より,標準正規分布に従う
(p= 0.10が成り立っていているので(5)式と比較する)
このZはH1:p <0.10が正しいとき,本当の母集団比率が0.10より小さいのでZ=
¯
X−0.10 √
0.10·(1−0.10)/n は非常に小さい負値をとりやすい傾向がある
4. 棄却域は図より,有意水準を5%とすると となる(nが大きいとき,表の下段を利用).
5. 検定統計量の値は以下のように なので棄却域に .
z= q x¯−0.10
/
=
−
q
/
=
したがって帰無仮説H0:p= 0.10は ,この調査結果からは視聴率が10%を割り込んでいない (p= 0.10)という主張は成り立たない.
本日の演習問題1
以下の問いについて,「帰無仮説・対立仮説」「有意水準」「検定統計量」「棄却域」を明示的に用いて仮説検定 を行って下さい.
1. 練習問題Aについて,100個の無作為抜き取りについて,平均値が299g,分散値が20gであったとき,内
容量の平均は300gと主張できるか
帰無仮説: ,対立仮説:
有意水準は5%とする.
検定統計量を以下のように定める
上に定めた検定統計量は,帰無仮説が正しいとき, 分布に従い,対立仮説が正し
いとき, .
したがって棄却域は,有意水準が5%であることと対立仮説を考慮して,以下のようになる.
検定統計量の値は となり,帰無仮説は
.
2. 練習問題Bについて,2000人の無作為調査を行い,188人が視聴していたとすると,視聴率は10%である
と主張できるか?
帰無仮説: ,対立仮説:
有意水準は5%とする.
検定統計量を以下のように定める
上に定めた検定統計量は,帰無仮説が正しいとき, 分布に従い,対立仮説が正し
いとき, .
したがって棄却域は,有意水準が5%であることと対立仮説を考慮して,以下のようになる.
検定統計量の値は となり,帰無仮説は
.