3. 有意水準αを決定する
4. データを収集し検定統計量を算出 5. 仮説の棄却と採択
帰無仮説検定の問題点
・研究仮説を対立仮説として立てる不自然さ 例）対立仮説―語彙指導Ａ群＞語彙指導Ｂ群 帰無仮説―語彙指導Ａ群＝語彙指導Ｂ群
−検定で得られるp値
「帰無仮説が正しい仮定の下で、検定結果が得られる確率」
帰無仮説検定の問題点
「帰無仮説が正しい仮定で、検定結果が得られる確率」
−語彙指導Ａ群＝語彙指導Ｂ群が正しいと仮定した時に、
語彙指導Ａ群と語彙指導Ｂ群の平均値差が生じる確率
p = .900 帰無仮説が正しい 仮定の下で、生じ
る可能性が高い p = .049
帰無仮説が正しい 仮定の下で、生じ る可能性が低い 帰無仮説を棄却
判断を保留
-4 -2 0 2 4
帰無仮説検定の問題点
・「同じである」ことを証明できない
−検定で得られるp値
〇「帰無仮説が正しい仮定の下で、検定結果が得られる確率」
☓
「帰無仮説が正しい確率」−仮説検定のロジック
「もし帰無仮説が正しいならば、p値は有意水準より大きい」
帰無仮説検定の問題点
「もし帰無仮説が正しいならば、p値は有意水準より大きい」
＜p値が有意水準より大きい＞
帰無仮説の正誤はわからない
→「判断を保留する」
＜ p値が有意水準より小さい＞
帰無仮説は誤っている
→「帰無仮説を棄却する」
p値が有意水準 より大きい 帰無仮説が
正しい
帰無仮説検定の問題点
・「差がない」or「差がある」しか証明できない
p値が有意⽔準以上−帰無仮説の採択（＝判断の保留）
p値が有意⽔準未満−帰無仮説の棄却（＝対立仮説の採択）
→p値に基づく判断は極端な二分法
帰無仮説を「採択する」or 「棄却する」という判断のみ cf）「5%水準で有意ではないが、10%水準で有意傾向であ る？」
帰無仮説検定の問題点
・有意差が「意味のある差」とは限らない
例）語彙指導Ａが語彙指導Ｂより平均点が有意に高かった 語彙指導Ａ：準備に要する時間が３０時間で平均点5.5点 語彙指導Ｂ：準備に要する時間が２時間で平均点5.2点
→「準備に要する時間」を考慮すると、この平均点差の意味は？
帰無仮説検定の問題点
1. 対立仮説と帰無仮説を立てる 2. 検定統計量と分布を決める 3. 有意水準αを決定する
4. データを収集し検定統計量を算出 5. 仮説の棄却と採択
帰無仮説検定の問題点
・有意水準の恣意性
慣習的に用いられている5%に確かな根拠はない 有意水準＝帰無仮説を棄却する際の基準
＝誤って帰無仮説を棄却する確率
→誤って帰無仮説を棄却する確率が5%で良いとは断言できない
帰無仮説検定の問題点
1. 対立仮説と帰無仮説を立てる 2. 検定統計量と分布を決める 3. 有意水準αを決定する
4. データを収集し検定統計量を算出 5. 仮説の棄却と採択
帰無仮説検定の問題点
・p値はサンプルサイズに影響される
検定統計量＝効果の大きさ
☓
サンプルサイズ（南風原, 2002）−効果が大きくなるにつれて検定統計量は大きくなる
−サンプルが大きくなるにつれて検定統計量は大きくなる
→効果 or サンプルが大きくなればp値は小さくなる
帰無仮説検定の問題点
・p値はサンプルサイズに影響される 例）対応なしのt検定におけるt値の算出
Ａ群（平均32・標準偏差16）vs. Ｂ群（平均46・標準偏差34）
サンプル数２０人：t (18) = 1.72, p = .102, d = 0.53 サンプル数１００人：t (98) = 4.69, p < .001 , d = 0.53
有意差なし 有意差あり
帰無仮説検定の問題点（まとめ）
・研究仮説を対立仮説として立てることの不自然さ
−「同じである」ことを証明できない