7. 準実験計画法と統計的仮説検定をやってみる
入門編
主 キ ワ
実験計画法，準実験計画法，フ ッ 3原則，統計的仮説検定，要因，水準， 直交性，主効果，交互作用，帰無仮説，対立仮説，有意水準，有意確率，誤謬
実験計画法 準実験計画法
章 ，実験計画法 experimental design ， 準 性質 準実験計
画法 quasi-experimental design い ， 後，統計的仮説検定 statistical
hypothesis testing 要諦 。実験計画法 ，効率的 タ 集 適
タ 解釈 目的 方法論 ，1920 代 ロ フ ッ R. Fisher
農学 背 大成 。実験計画法 ， 自体 応用統計学 一 いえ
複雑 ， 通 農学， 学，薬学，工学 い 使わ
い 。 ，日本 田口玄一 業績 ， 米 中心 ，世界的 広 知 ， 彼 独自 実験計画法 直交表計画，タ チ ソ ，Taguchi ，品質工学 quality
engineering いう新 い学術 生 出 。 ， 口 実験計画法 ，現在
マ ン コン ョ ン 析 conjoint analysis 頻繁
使わ 。 ，実験計画法 ，実験心理学や心理言語学 い ，広 応用 い 。現在 実験計画法 ， や 口 理論 ，
う 標準的 使わ あ ， 莫大 知見 蓄
積 あ 。
記 う ，実験計画法 複雑 ， ， 基本原理， 自体
簡単 。 原理 ，フ ッ 」 原則 ，具体的
，
1. 局所管理化 blocking 2. 復 replication
3. 無作為化 randomization
3 。
最初 原理 あ 局所管理 ， 調べ い要因以外 影響 排除
いう 。 え ，男女差 ， 実験結果 影響 欲
い ，男女比 各群 均等 ， いう う 手順 あ 。
統制 control 操作 う 。
次 復 ，実験や調査 同条件 繰 返 いう 。 ， 測定
誤差 減 。10 回 実験結果 1,000 回 実験結果 う 誤差 小
。 大数 法則 わ 。
最後 無作 ， う 統制 い要因 影響 ， 除
，条件 作 的 実験 配置 い う 。 え ， ス 問題 提示順 ，無作 う い う。実験計画法 ， 3
原則 タ 集 心 。 ， 紹 ，あ
原則 あ ，実験計画法 タ 集 ウ ウ あ 。
外国語教育研究 ， 3 原則， ，特 無作 い
わ あ 。 ，実験計画法 準 方法 ，準実験計画法 タ 集法 使 い 。準実験計画法 細 いえ ， 実験
ン 集合体 ， わ 理解 解説 い ， 覧 い。
い ，外国語教育研究 ，農学や 学 う ，完全 実験計画法 応用 い， いう 覚え い い。
要因，水準，直交性，交絡
，実験計画法 ， う 実際 タ 集 見 い
う。
第一原則 局所管理 う ， ，調べ い性質 以外 性質
明確 。 え ，血液型 い 熟 度 差 あ
検証 い う。 ，私 関心 ，あ 血液型 熟 度 ，
以外 関心外 ， 管理 い， いう 。
，私 関心 物 性質 ，要因 factor 。実験計画法 ，
タ 使い 。A型，O型，B型 AB型 いう
，熟 度 ス 数 均差 検討 ，要因 影響 あ
いうわ 。日本語 ，要因 因子 いう い 。 因子
，因子 析 factor analysis 因子 う 注意 う。
要因 ， 組 e.g., A型，B型… ，水準 level いい 。
以外 物 熟 度 影響 ， 析 誤差 わ ， 限
， 影響 最小 い 。 ，熟 度 影響 う ，
， 水準間 要因間 均等 。 局所管
理 ， ロ キン ロ 作 。 ，水準間 タ 比較
，理想的 見 い物 性質 要因 影響 得 いうわ 。い い え ，局所管理化 ， タ 見 い 最小対立 う いう こ 。
実験計画法 ，見 い要因や水準 ，基本的 い あ 構い 。 え ，ふ 要因 実験計画 ，2要因 実験計画 いい 。 ，水準 3
複数 要因 検討 計画 ，3水準系計画 いい 。
，複数 要因 影響 同時 検討 ，要因 水準 組 合わ 考え
。 え ，性 血液型 熟 度 影響 う 実験
い 。 ，性 血液型， 要因 直交性 orthogonality
い 。直交性 い概念 ， ，要因間 独
立 あ ， 交絡 い ， い。
実験計画 直交性 あ 確認 ，計画行列 。計画行列 ， 全要因 全水準 組 合わ あ わ 行列 。 え ，2水準系2要因 実験計画 ， 以 う 計画行列 表 1 。 ，4 種類 タ 比較
。 ，要因 水準 組 合わ 完全 い場合，計画行列 直交性
，要因 交絡 い いえ 。一般 ，計画行列 ， べ 要因
水準数 積 長 必要 。3 水準系 3 要因 実験 ，27 種類 タ 集
。 ， 完全実施計画 full factorial design や要因配置実 験 基本的 方法 い ，直交表実験計画 部 実施計画
限 あ 。
1
数学的 見方 ，計画行列 対象 相関 析 ， べ 要因間 相関 け ，そ 計画 直交性 あ いえ 。表 2 ，直交性 崩 計画
あ 。気 実際 相関 析 い。
表1.
2水準系2要因 計画行列
要因A 要因B
A 水準1 水準1
B 水準1 水準2
C 水準2 水準1
D 水準2 水準2
1
外国語教育研究 実験計画法，特 部 実施計画 い 概説 ，草薙 2014 参照 い。
表2.
直交性 い2水準系2要因 計画行列
要因A 要因B
A 水準1 水準1
B 水準1 水準2
C 水準2 水準1
D 水準2 水準1
一般 3 要因 超 う 要因 多要因，多因子， 多元配置 いい， う
，あ 望 い い 。通常，外国語教育研究 ，3要因
×3水準程度 組 合わ 超え う 完全実施 計画 あ 。 う
多元配置 部 実施計画 あ ， ン方格法 Latin square method ，直
交表実験計画 orthogonal array design いう手法 い 一般的 。 ，近
，線形計画法 linear programming や組 合わ 最適化 optimization い 数理的手法 使う う い 。 ， 通 外国語教育研究 ，
完全実施計画 う う い う。
散 析，主効果，交互作用
要因 い 直交性 う 適 タ 集 ， 結
果 ， 散 析 解析 。 大成 実験
計画法 ， 散 析 主体 ，表裏一体 関係 い 過言 あ 。 散 析 ？ いう疑問 ， 答え ， 要因 変動 ，誤差
変動 比率 比較 方法 いえ 。
やや い ， ， 散 析 ， タ 全 散 解 。あ 要
因 い 考え ， 要因 水準A 均 ，水準B 均
，要因 変動 。 ， タ 変動 あ 。
，水準A あ ，水準B あ ，要因 変動以
外， 誤差 変動 あ 考え 。 ，要因間 変動 ，要因内
変動 大 け ，そ 要因 影響 い 証拠 。
う ，あ 要因 影響 大 ，要因 主効果 main effect 。
一方，複数 要因 組 合わ 影響 い 考え 。 え ， 男性 場合 い 血液型 熟 度 影響 度合い ，女性 場合 ，結果
異 。 う ，要因間 交互作用 interaction あ い
い 。適 計画 実験心理学や心理言語学 研究 ， 交互作用 あ
こ 目的 あ 。
準 実験計画法 ， う ， 3 原則 い，効率的
タ 集 い， 集 タ 対 散 析 い， タ 適 解釈 う 。現在，量的手法 い 外国語教育研究 い ， 散 析
頻繁 使わ 研究方法 。 ，論文 ，誤用 非常 見
。 散 析 制 研究 制 ， い 過言 い 要 方法
，一長一短 使い い 実 。 後 学習 ，
散 析 具体的 手順や，一般線形 実験計画法 統合的理解 い ，本 章 理解 書い い ， 覧 い。
統計的有意性
， 散 析 説明 ， 要因間 変動 ，要因内 変動 大
… 書 ， あ 正確 いい方 あ 。正 ，統計的
有意性 statistical significance 得 比率 あ ， いう意味 。 ，
統計的有意性 ，い い， う 意味 う 。
統計的有意性 ，初学者 い概念 いわ い ，簡単 い う ，以 う 意味 あ わ 過 あ 母集団 統計量 ，一定 値 仮定 ，そ 対応 標本 値 ，あ 基準以下 確率 発生 象 あ こ
。 ， え 母数 0 ， いう仮定 自 置い ，標本 値 100 いう 確率論的 整合性 低い， いう意味 。
整合性 断 基準 必要 ， 有意水準 ，α 示
。通常，統計的仮説検定 有意水準 5% ，1% いう う 設定 。母集団 統計 0 ， 統計 い 標本 布 参照 ，標本 値 う 確率 5%以 ， いう う 断 わ 。統計的仮説検定 ， う 手
続 全体 指 示 ，あ あ 統計 対 統計的仮説検定
う 。実際，統計学 広 知 検定 100 う 超え 。 散 析 ，変動 比率 F 1 要因間 要因内 同 設定 ，F い 布 F 布 参照 ，標本 F値 う 確率 あ 自 度 ，5% ， 1% 水準 大 い ，小 い 断 わ 。 ，有意水準
う 確率 低 ，統計的 有意， 要因 効果 あ ， 断 。
，注意 必要 ，有意性 効果 大 保証 わけ い， いう わ 次章 。
統計的仮説検定 例
簡単 例 あ ，統計的仮説検定 手順 見 う。 ， カ
マ カ マ い わ いコ ン あ 。 1,000回投 ，表 数
数え 。 コ ン カ マ い ，確率 .50， 500回表
。 帰無仮説 null hypothesis 同 。
帰無仮説 棄却 ，対立仮説 alternative hypothesis コ ン カ マ あ 採択 。帰無仮説 棄却 ，帰無仮説 仮定 確率 .50
，観察 値 コ ン投 結果 有意水準 低確率 起 示
。
， 帰無仮説 成 回数 標本 布 計算 う。
項 布 binominal distribution いう 布 従う ，図1 う 。
図1. 項 布
，標本 成 回数 600 回 あ 。 ， 布 ，あ 整合性 いこ 。 実際 確率 有意確率 ，p 記 p
< .01 。 帰無仮説 棄却 わ ，対立仮説 採択 。 ，
コ ン カ マ あ ， いう 。 う 検定 項検定や符号検定
。
統計的仮説検定 誤謬
統計的仮説検定 ， 誤 あ 。統計的仮説検定 ，実 誤 犯 や い 。統計的仮説検定 誤 ，以 2 種類あ い
a 第一種 誤謬 Type I error ， b 第 種 誤謬 Type II error 。
第一種 誤謬 ，真実 対立仮説 偽 false ，誤 対立仮説 採択
。 ，冤罪 。一方，第 種 誤謬 ，真実 対立仮説 真 true
，誤 対立仮説 採択 い 。 ，見逃 。 以 う 表3 。
400 450 500 550 600
0.0000.0100.020
Times
p
表3.
統計的仮説検定 誤謬
真実／検定結果 検定 対立仮説 採択 検定 対立仮説 棄却 対立仮説 真 問題 Hit 第 種 誤謬 Miss
対立仮説 偽 第一種 誤謬 False Alarm 問題 Correct Rejection
わ ， う 誤謬 起 確率 ，常 意識 ， コン ロ
。 ， 非常 い 。
，第一種 誤謬 減 ，有意水準 や いい 。
え ，飲酒運転 締 和 ，あ 冤罪 正常 運転者 対 検 査 減 。 ，飲酒運転 見逃 当然増え い 。逆 厳
，飲酒運転 冤罪 増え い 。 う ，第一種 種 誤
謬 律背 tredeoff 関係 あ いえ 。
一般 統計学 ，検定 第 種 誤謬 犯 い確率 検定力 power いい，
1-β 書 。 β ，第 種 誤謬 犯 確率 あ わ い 。検定力 慣
習的 .80以 望 い いわ 。 ，20%程度 見逃 5%程度 冤罪 ，あ 程度 い いう う 考え わ 。 ，慣習的 ，見逃 冤罪 や 考え い わ 。 ，外国語教育研究 ，効果 い 効 果 あ いう誤 ，効果 あ 見逃 ， いう場合 同様 研究 脅威 あ 考え 。 ，第 種 誤謬 第一種 誤謬 深刻 い，
いう う 紋 型 考え いう ，両方 誤謬 い 真剣 検討 こ 重要 いえ う。
検定
， 統計的仮説検定 い 要諦 い 見 わ
，本章 終わ ，外国語教育研究 使わ 一般的 検定方法 い ，簡単 紹 表 4 。 検定 詳細 ，本章 理解 や 章 触 い
，適宜参照 い。 ，統計的仮説検定 以 。
表4.
外国語教育研究 い 一般的 検定 紹介
検定 い 布 検定統計量 用途
t検定 t 布
正規 布 準 小 標本 布
t値 対応 平均差 検定，対応あ 平均
差 検定，無相関検定， 偏 回帰係数 有意性 検定， 片 検定
F検定 F 布
散比 布
F値 等 散性 検定， 散 析，回帰
有意性 検定 χ2検定 χ2 布
散 布
χ2値 独立性 検定， ロ 集計 適合度検定， 回帰 析 適合性 検定，因子 析 適合 性 検定，構造方程式 ン 適合性
検定 比率 差
検定
標準正規 布 z値 比率 差 両群
，ノンパ ッ 検定 検定 あ 。 ，検
定 布 仮定 要 い検定 ，外国語教育検定 一般 使わ い 。
ンパ 検定 い ，う 章 紹 。
入門編 う無理 遅
更新履歴
2015/6/31 無理 初稿
2017/7/1 後藤 藤 指摘
