.
...
統計学 I および演習 第 14 回 仮説検定
菅原慎矢
July, 2016
仮説検定とは
仮説検定 (Hypothesis testing): 母集団に関する仮説 (Hypothesis) の妥当性を 検証する方法
帰無仮説・対立仮説を立て、どちらが正しいかを検討する 帰無仮説(Null hypothesis): 検証する対象
対立仮説(Alternative hypothesis): 帰無仮説の逆の仮説 ex.母平均 µ は 0 なのか を検定する
帰無仮説: µ = 0 対立仮説: µ ̸= 0
仮説検定の方法
標本から検定統計量を構成
検定統計量を用いて、帰無仮説が棄却される (Reject) か棄却されないかを 判断
検定統計量に関して、ここに入れば帰無仮説は棄却される、という棄却域を定 めて、そこに入っているかどうかを見る
用語: 有意水準(または検定のサイズ): 棄却域の面積,分析者が定める 用語: 境界値: 棄却域と棄却されない部分(受容域)との境目の値 メモ: 仮説検定と区間推定には密接な関係がある
検定の実際: 設定
今日考える状況は下記の設定とする 母分布: N(µ, σ2)
{X1, ..., Xn}は母分布からの大きさ n の無作為標本 σ2は未知の場合と既知の場合がある
平均に関する検定
帰無仮説: 母平均が既知の定数 µ0である: µ = µ0 二つの対立仮説:
µ > µ0: 片側検定
µ ̸= µ0 両側検定, µ < µ0とµ > µ0両方を含む
平均の検定: σ
2既知
平均の検定: σ
2既知
以下は片側検定・両側検定とも共通 σ2が既知とする
平均の推定量として、 ¯Xを使う Z = ( ¯X − µ0)/√σ2/nとする
帰無仮説 µ = µ0が正しければ、Z ∼ N(0, 1) であり, Z の分布は平均 0 の回 りに集中する
帰無仮説が正しくなければ、上記のように定義された Z の平均は、0 から遠 いところになるはずであり、Z の密度関数は 0 から離れたところに大きな値 を取る (配付資料ミス)
平均の検定: σ
2既知, 両側検定
対立仮説を µ ̸= µ0とする 有意水準を α とする 棄却域の構成:
Zが0から離れたところにZの分布がある程度集中していたら棄却する 具体的には、Zの裾の確率が,左側(Z < 0)右側(Z > 0)合わせてα以上で あったら棄却する
図示
⇒境界値Rα/2> 0を以下のように定める
P (|Z| > Rα/2) = α (1)
ただしここのZは、帰無仮説が正しいと仮定した元でのZであり、 Z ∼ N(0, 1)(配付資料に追加)
Rα/2の値を正規分布表から探す
検定方式: |Z| > Rα/2の時、帰無仮説を棄却する(配付資料に追加: このZ は、標本から構成されたZ)
平均の検定: σ
2既知, 両側検定 2
Rα/2の求め方
α = P (|Z| > Rα/2) (2)
= P (Z > Rα/2∪ Z < −Rα/2) (3)
= 2P (Z > Rα/2) (4)
= 2[1 − P (Z < Rα/2)] (5) 三つ目の等号については図示. 上記の式を変形して
P (Z < Rα/2) = 1 − α/2 (6) となる R がもとめるもの. つまり、両側区間推定で求めた z と同じもの
平均の検定: σ
2既知, 両側検定 3
上記は Z を検定統計量とする検定であったが、 ¯Xを検定統計量とする検定にす ることも出来る。以下では ⇔ は、これを挟む二つの式が同値であることを示す
|Z| > Rα/2 ⇔ Z > Rα/2 or Z < −Rα/2 (7)
⇔ X − µ¯ 0
√σ2/n > Rα/2or
X − µ¯ 0
√σ2/n < −Rα/2 (8) ここで
X − µ¯ 0
√σ2/n > Rα/2 ⇔
X > µ¯ 0+ Rα/2√σ2/n (9) X − µ¯ 0
√σ2/n < −Rα/2 ⇔
X < µ¯ 0− Rα/2√σ2/n (10)
平均の検定: σ
2既知, 両側検定 4
従って、 ¯X > µ0+ Rα/2√σ2/nまたは ¯X < µ0− Rα/2√σ2/nの時棄却 区間推定との比較
信頼係数1 − αの両側信頼区間
[ ¯X − zα/2√σ
n, ¯X + aα/2
√σ n
] (11)
ただしzα/2= Rα/2
従って、信頼係数 1 − α の信頼区間の外側が、有意水準 α の仮説検定の棄却 域となっている
平均の検定: σ
2既知, 片側検定
平均の検定: σ
2既知, 片側検定
対立仮説を µ > µ0,有意水準を α とする 棄却域の構成:
Zが0から離れたところにZの分布がある程度集中していたら棄却する 具体的には、Zの裾の確率が右側(Z > 0)だけでα以上であったら棄却する
⇒境界値Rα> 0を以下のように定める
P (Z > Rα) = α (12)
Rαの値を正規分布表から探す
検定方式: Z > Rαの時、帰無仮説を棄却する
平均の検定: σ
2既知, 片側検定 2
Rαの求め方
α = P (Z > Rα) (13)
= 1 − P (Z < Rα) (14) 上記の式を変形して
P (Z < Rα) = 1 − α (15) となる Rαがもとめるもの. つまり、片側区間推定で求めた zαと同じもの
平均の検定: σ
2既知, 片側検定 3
Z > Rα ⇔ X − µ¯ 0
√σ2/n > Rα (16)
⇔ X > µ¯ 0+ Rα√σ2/n (17) 従って、 ¯X > µ0+ Rα√σ2/nの時棄却。両側検定の時と同様に、これは信頼係 数 1 − α の片側信頼区間の外側
平均の検定: σ
2未知
平均の検定: σ
2未知
ここから σ2を未知として、µ に関する検定を考える σ2を S2で代用することを考える
T = ( ¯X − µ0)/√S2/nとする
帰無仮説 µ = µ0が正しければ、T ∼ t(n − 1) であり, T の分布は平均 0 の 回りに集中する
帰無仮説が正しくなければ、上記のように定義された T の平均は、0 から遠 いところになるはずであり、T の密度関数は 0 から離れたところに大きな値 を取る
平均の検定: σ
2未知, 両側検定
対立仮説を µ ̸= µ0,有意水準を α とする 棄却域の構成:
Tが0から離れたところにT の分布がある程度集中していたら棄却する 具体的には、T の裾の確率が,左側(T < 0)右側(T > 0)合わせてα以上で あったら棄却する
⇒境界値Rα/2> 0を以下のように定める
P (|T | > Rα/2) = α (18)
Rα/2の値をt分布表から探す
検定方式: |T | > Rα/2の時、帰無仮説を棄却する
平均の検定: σ
2未知, 両側検定 2
Rα/2の求め方
P (T < Rα/2) = 1 − α/2 (19) となる Rα/2がもとめるもの. つまり、両側区間推定で求めた tα/2と同じもの
平均の検定: σ
2未知, 両側検定 3
|T | > Rα/2 ⇔ T > Rα/2or T < −Rα/2 (20)
⇔ X − µ¯ 0
√S2/n > Rα/2or
X − µ¯ 0
√S2/n < −Rα/2 (21) ここで
X − µ¯ 0
√S2/n > Rα/2 ⇔
X > µ¯ 0+ Rα/2√S2/n (22) X − µ¯ 0
√S2/n < −Rα/2 ⇔
X < µ¯ 0− Rα/2√S2/n (23)
従って、 ¯X > µ0+ Rα/2√S2/nまたは ¯X < µ0− Rα/2√S2/nの時棄却
雑談
分散未知の時の T 統計量を用いた平均の検定を t 検定と呼ぶ 開発者: William Gosset
それ以前は正規分布を用いて検定していたようだが、t分布を用いた方が精度 が良いことを発見
ギネスビール社(アイルランド)のエンジニアであり、会社に隠れて行った研究 だったため、Studentというペンネームで論文を発表
そのためStudent t testと呼ばれる
S2を使った統計量なので,その次のアルファベットということでtと呼んだら しい
分散の検定
分散の検定
帰無仮説: σ2= σ02
対立仮説:
片側検定: σ2> σ02
両側検定: σ2̸= σ02
分散の検定: 片側検定
分散の推定量として、S2を使う U = (n − 1)S2/σ20とする
帰無仮説 σ2= σ02が正しければ、U ∼ χ2(n − 1)である 対立仮説を σ2> σ20,有意水準を α とする
棄却域の構成:
Uの右側の裾の確率がα以上であったら棄却する
⇒境界値Rα> 0を以下のように定める
P (U > Rα) = α (24)
Rαの値をχ2分布表から探す
分散の検定: 片側検定 2
U > Rα ⇔ (n − 1)S
2
σ02
> Rα (25)
⇔ S2> σ02Rα/(n − 1) (26) 従って、S2> σ20Rα/(n − 1)の時棄却
分散の検定: 両側検定
対立仮説を σ2̸= σ20,有意水準を α とする 棄却域の構成:
Uの左右の裾の確率がα以上であったら棄却する
⇒境界値1 − Rα/2> 0, Rα/2> 0を以下のように定める
P (U < R1−α/2) = 1 − α/2 (27)
P (U > Rα/2) = α/2 (28)
R1−α/2, Rα/2の値をχ2分布表から探す
分散の検定: 両側検定 2
U < R1−α/2 ⇔ (n − 1)S
2
σ02
< R1−α/2 (29)
⇔ S2< σ02R1−α/2/(n − 1) (30) また
U > Rα/2 ⇔ (n − 1)S
2
σ02
> Rα/2 (31)
⇔ S2> σ02Rα/2/(n − 1) (32)
2 母集団の検定
2 母集団に関する検定
設定
{X1, ..., Xm}: 母分布N (µx, σ2x)からの大きさmの無作為標本 {Y1, ..., Yn}: 母分布N (µy, σ2y)からの大きさnの無作為標本 二つの母分布は独立とする
ex.
男性のテスト点数と女性のテスト点数とで、男女差があるかを検証したい
平均差の検定: 母分散既知
帰無仮説: µx− µy= 0
対立仮説: µx− µy̸= 0 (両側検定)
平均の差の推定量として、D = ¯X − ¯Y を用いる
母分散を既知とする:未知のケースはこの授業では扱わない Dは正規分布 N(µx− µy, σx2/m + σy2/n)に従う (証明略) 帰無仮説が正しければ、D ∼ N(0, σ2x/m + σ2y/n)
よって Z = D/√σx2/m + σy2/nとすると、帰無仮説が正しければ Z ∼ N (0, 1)
平均差の検定: 母分散既知 2
有意水準を α とする 棄却域の構成:
Zの左右の裾の確率がα以上であったら棄却する⇒境界値Rα/2> 0を以下 のように定める
P (|Z| > Rα/2) = α/2 (33)
これは平均に関する検定と同じ。以下同じ手順で
X − ¯¯ Y > Rα/2√σ2x/m + σ2y/nまたはX − ¯¯ Y < Rα/2√σx2/m + σ2y/nの時 棄却
実際の検定
実際の例: 例題 10.1
母平均 µ, 母分布 σ2の母集団からの大きさ n = 10 の無作為標本として、 {x1, ..., x10} = {3.4, 4.5, 1.9, −1.6, 4.4, 0.8, 3.2, −0.3, 0.8, 3.7}が得られたとする
前回も扱ったデータ
¯
x = 2.08, s2= 4.375
平均の検定: 母分散既知
帰無仮説を µ = 2 とする
両側検定、α = 0.05, 分散 σ2= 2を機知とする Zによる検定の境界値について
P (Z < Rα/2) = 1 − α/2 ⇒ Rα/2= 1.975 (34) 検定方式は ¯x > µ0+ Rα/2√σ2/nまたは ¯x < µ0− Rα/2√σ2/nの時棄却 各値を代入し,
µ0+ Rα/2√σ2/n = 2 + 1.975 ∗√2/10 = 2.87 (35) µ0− Rα/2√σ2/n = 2 − 1.975 ∗√2/10 = 1.13 (36) 今 1.12 < ¯x < 2.88 なので、有意水準 5%で帰無仮説は棄却されない
平均の検定: 母分散既知 2
帰無仮説を µ = 3.5 とする
両側検定、α = 0.05, 分散 σ2= 2を機知とする Zによる検定の境界値は同じく 1.975
検定方式も同じ 各値を代入し,
µ0+ Rα/2√σ2/n = 3.5 + 1.975 ∗√2/10 = 4.37 (37) µ0− Rα/2√σ2/n = 3.5 − 1.975 ∗√2/10 = 2.67 (38) 今 ¯x < 2.67 なので、有意水準 5%で帰無仮説は棄却される
平均の検定: 母分散未知
両側検定、α = 0.05 とする Zによる検定の境界値について
P (T < Rα/2) = 1 − α/2 ⇒ Rα/2= 2.26 (39) 検定方式は ¯x > µ0+ Rα/2√S2/nまたは ¯x < µ0− Rα/2√S2/nの時棄却 各値を代入し,
µ0+ Rα/2√S2/n = 2 + 2.26 ∗√2/10 = 3.49 (40) µ0− Rα/2√S2/n = 2 − 2.26 ∗√2/10 = 0.51 (41) 今 0.51 < ¯x < 3.49 なので、帰無仮説は棄却されない
追加的な概念
p 値
p値: 検定統計量 T の観測値が t であったとき、帰無仮説が正しいと仮定し たもとでこれが起こる確率:
P (T = t|帰無仮説) = p (42) p < αなら、有意水準 α で帰無仮説が棄却される
第一種・第二種の過誤
第一種の過誤 (Type I error): 帰無仮説が正しいときに、帰無仮説を棄却す る: これが起こる確率は有意水準 α
第二種の過誤 (Type II error): 対立仮説が正しいときに、帰無仮説を棄却し ない:
アナウンス
今日の内容は期末テスト範囲外です 授業アンケート
