20
外国語教育研究と信号検出理論
草薙 邦広
名古屋大学大学院生／日本学術振興会
後藤 亜希
名古屋大学大学院生
概要
本稿 目的 ，信号検出理論 signal detection theory，SDT 数理的基盤 い 紹
，外国語教育研究 信号検出理論 応用可能性 議論 あ 外国語
教育研究や 関連諸 ，語彙性 断課題や文法性 断課題 い 各種 断課
題 成績 タ あ う場合 多い ，古 的 理論 要領 ，正答率
主 析対象 い ，正答率 対象 析 ，刺激
観察者 一定 水準 対 反応 場合 ，結果 解釈 不適 可能
性 あ 一 方 ， 信 号 検 出 理 論 ， 正 答 率 ，d’や A’ い 弁 力 指 標 sensitivity index ，c，c’や β い 反応 ， ROC い 多様
析観 ，信号検出理論 析 応用 ，外国語教育研究
利 う
Keywords: 信号検出理論，弁 力，反応 ， 断課題，研究方法論
1.
背景外国語教育研究 関連諸 ，語彙性 断課題や文法性 断課題 い
各種 断課題 judgment task い 弁 課題 discrimination task 実施
あ ，語彙性 断課題 例 型的 語彙性 断課題 ，実在語 e.g.,
cat，dog 擬似語 非単語 い 複数 水準 刺激 観察者 実
験参加者 ，実在語 擬似語 無作 示 ， 刺激 実在語 あ
う 断 観察者 当 言語 語彙知識，正書法知識，音韻的知識， 形
態的知識 十 場合，実在語 実在語 あ 断 確率，実在語以外 刺激
実在語 い 断 確率， 和や 均 値 高い値 示 予想
一方，観察者 記 う 知識 十 い場合，実在語 実在語 あ
断 確率， 実在語以外 刺激 実在語 い 断 確率，
21
和や 均 値 ，逆 い値 示 予想 ， 値 散 ，
知識や技能 程度 表 あ 捉え ，因果推論 自然 あ 外国語
教育研究 ， 推論 沿 ，実在語 擬似語 弁 ン 程度 弁
力 観測値 得 ，個人 知識や技能 い 議論
，観察者 実在語 実在語 あ 断 確率 H hit ratio ， 1 式
う 条件 確率 定義
" "| 1
一方，実在語以外 刺激 実在語 い 断 確率 CR correct rejection 2
式 う 定義
" "| 2
，S1 実在語 ，S2 擬似語 い 実在語以外 刺激 示
一般 い 正答率 accuracy，correct response ratio，propotion correct，P(c)
， 2 加 均 あ ，水準間 試行数 同数 ， 3 式 う 表
いう く，水準間 試行数 同数 望 い
3
正答率 ，古 的 理論 正答率 等 い ，正答
率 ， 断課題 弁 力 数理的表現 常 適 あ いえ い え
，あ 観察者 弁 結果 ，H = .50，CR = .50 あ ，P(c) = .50 あ
， 観察者 弁 結果 ，H = 1.00，CR = 0 あ ，同 値 P(c) = .50
後者 例 ， べ 施行 い 実在語 断 い ，
前者 両方 水準 対 同様 反応 い 傾向 あ 対 ，著 い差異 あ
正答率 課題成績 検討 ，反応 評価 い
一方，信号検出理論 signal detection theory ，弁 力 ，反応
い 扱う あ 信号検出理論 応用 最 単純 利 ， 析観
多様化 あ 次節 ，信号検出理論 基本的 性質
い 見 いく
22
2.
等分散正規分布モデルにもとづく信号検出理論 出信 号 検 出 理 論 ， 通 信 学 起 源 あ ，1960 代 Green
and Swets 1966 精神物理学 数理心理学 入 Macmillan
& Creelman, 2005 現在 い ，数理心理学や認知心理学，特 記憶や意識 い
研究 繁 使用 方法論 あ 信号検出理論 第一 特徴 ， 記
う 正答率 ，全く異 プロ チ 弁 力 表現 あ
， 断 いう認知過程自体 数理的 化 顕著 特徴 あ
，多々あ 信号検出理論 中 ， 基本的 等 散正規
Equal-variance Gaussian model 出 ， 機能 一端 示 い
等 散正規 以 う あ ， 示 刺激 観察者
対 ，連続的 一次元的心理 喚起 考え ，擬似語 ，実在語
対 相対的 弱い心理 喚起 あ ，実在語 ，擬似語 強い心理
喚起 仮定 心理 水準 正規 成 ，水準
間 散 等 い 仮定
，弱い心理 喚起 ，強い心理 喚起
呼ぶ う 定義 視覚的 表現 1 示
う 断空間 decision space 呼 い
1. 破線 実線
，あ 刺激 対 心理 1 ， 断基準 criterion, c い 考え
1 超え ，観察者 実在語 あ 断 ，超え い 実在語
い 断 仮定 2
Strength
Frequency
23
2. 断基準 加え
， 内側 あ ， 断基準 い部 面積 ， 擬
似語 対 擬似語 あ 断 確率 あ ， CR あ ，
内側 あ ， 断基準 大 い部 面積 ， 実在語 対
実在語 あ 断 確率 あ ， H あ 正規 内側 面積 1
あ ，1-CR 値 ， 擬似語 対 実在語 あ 断 確率 あ ，
FA false alarm ratio, F 呼ぶ 同様 ，1-H 値 ， 実在語 対 擬似語 あ 断 確率 あ ， M miss ratio 呼ぶ
1 式 2 式 同様 ，条件 確率 FA M 表 ， 3
式 4 式 う
" "| 3
" "| 4
，H 当 観察数 hit，M 当 観察数 miss，FA 当 観察数 false alarm，CR 当 観察数 correct rejection 呼ぶ ，観察者 弁
結果 ，以 う ロ 表 表 表 1 ，hit 実在語 刺
激数 割 H，miss 実在語 刺激数 割 M，false alarm 擬似語 刺激数 割 FA，correct rejection 擬似語 刺激数 割 CR
表1.
弁 結果 ロ 表
刺激 特性
観察者 断 実在語 擬似語
実在語 Hit False Alarm
擬似語 Miss Correct Rejection
Strength
Frequency
24
，H ，正規 関数 断基準 面積 あ ，F(x|S1) 積
， 5 式 う 表現
|
∞
5
同様 ，M 6 式 う 表現
|
∞
6
FA ，F(x|S2) 積 ， 7 式 う ，CR 8 式 う 表現
|
∞
7
|
∞
8
仮定 ， 均 差 d’ い 正規 関数 標
準偏差 σ 便宜的 1 置 ， 2 交 0 仮定 ，以 関
係 成立 あ 研究者 ， 均 0 置く場合 あ ，
以降 計算 大差 い z(p) p 標準正規 逆数 あ
，標準正規 逆数 ，Microsoft Excel ，NORMSINV関数
′ 9
′ 10
以 う 整理 いく
25
′
′ 11
あ ，
′ ′
′ ′
′
′
12
計算
12 式 d’ ， 中心傾向
差 大 示 指標 ，弁 力指標 sensitivity index 呼 ，信号検出
理論 い ， 断 い 弁 成績 示 基本的 指標 あ d’ 0 ，
観察者 全く弁 力 い 意味 ，d’ 値 大 い 高い弁 力 ，逆
値 い い弁 力 示 ， 断空間
い い ， ，共有 面積 少 少 い ，
弁 力 高い いう あ ，信号検出理論 ，
， 断基準 い タ ，観察者や条件 由来 考え 注
意 い
， 出過程 ， 断基準 c 値
， 9 式 c い 整理 11 式 う 11 式 ，
′
あ ， 12 式 ，
′
， ，
26
=
=
=
13
う 断基準c 0 ，反応 い 示
c 正 値 ，実在語 あ 回答 方 ，負 値 擬似語 あ
回答 方 反応 示 繰 返 ， う 反応
，正答率 析 検討 い
弁 力指標 反応 ，ROC receiver operating characteristics
，relative operating characteristics いう視覚的表現 理解
ROC ， 軸 FA ，縦軸 H 2次元空間 あ 3 2次元空間
い ，直線y = x ，d’ = 0， 弁 力 い 示 直線 あ
曲線 ， 直線 見 ， d’ = 1，d’ = 2，d’ = 3 弁 力 あ わ
，直線 右 観察者 反応 付置 場合 ，負 弁 力 表 う ，
研究者 実質的 興味 少 い 一方，y = -x + 1 直線 ，c = 0， 反
応 い 示 直線 右 空間 ，実在語 選好 反応
示 ， 空間 擬似語 選好 反応 示
27
3. ROC 表 2次元空間
，H FA z変換 標準正規 逆数 得 操作 軸
ROC ，d’ 直線 表現
等 散正規 基礎 あ
3.
信号検出理論 指標 周辺3.1
関連信号検出理論 属 等 散正規 限 ， 理論的 枠組
非常 多岐 わ 単一高閾値 single high threshold model ， 閾値 low threshold model ，Luce 選択理論 choice theory 弁 力や 断基準 対 異 指標 使用 ，Macmillan and Creelman 2005 い ，
興味 持 者 参照 い ，非等 散 ，多肢選択 ， ン
，ROC 駆使 計算方法 ，認知心理学 い
，古く 広く使わ い あ
，信号検出理論 ，一般化線形 GLM 扱う
e.g., DeCarlo, 1998 ，変 効果 含 一般化線形混合効果 GLMM 応用
近 ， 統計学 や コ 連鎖 ン ロ法 MCMC
推定 援用 信号検出理論 案 い e.g., Lee, 2008
信号検出理論 関連 数理心理学的 目 向 ，Ratcliff 拡散
diffusion model 代 表 う ， 次 抽 出 過 程 sequential sampling model ，信号検出理論 拡張 ，弁 力 断基準 く反応時 間 生成 同時 明 あ いえ e.g., Ratcliff, 1998, 2002; Ratcliff, Gomez & McKoon, 2004
認知心理学 い ，記憶研究 R-K 手続 remember-know procedure 援用
0.0 0.2 0.4 0.6 0.8 1.0
0.00.20.40.60.81.0
FA
H
28
実験 e.g., Yonelinas, 2002 信号検出理論 拡張的 繁 使用
人 言語学習や明示的 暗示的知識 関 研究 ， 断 確信度や， 断 伴う
主観的状態 subjective state 断 関係性 化 ，第二種 信号検出 理 論 type II signal detection theory や 発 展 的 使 用 い e.g., Barret, Dienes & Seth, 2013 ， 手法 ，近 一般 統計 く
析 従来 析法 代わ う ， 後 く ， 方向性
進 考え Dienes, 2016
べ く紹 ，本稿 限界 遥 超え あ ，
以 ，研究 実用性 視 ，一般的 信号検出理論 指標 周辺
いく 紹
3.2
反応 指標c’ β反応 ，c 相対 断基準 置 relative criterion location 呼
c’や尤度比 く 断基準 あ β 指標 あ c ，d’ 極端 値
過大 値 返 傾向 あ ，d’ 値 調整 断基準 必要 場合 あ
c' ， d’ 調整 c あ ， 14 式 定義
c′
′ 14
，β ， 尤度比 く あ ， 15 式
計算
′ 15
e ， 数 2.71… あ ，自然対数 形式 ln(β) ，
16 式
′ 16
一般的 指標 方 ，c 反応 表 繁 い
う あ
29
3.3
ン 指標紹 指標 ，等 散正規 ， 指標
あ ，信号検出理論 指標 中 ， ン 指標 あ 弁 力指標
あ A’ ，ROC 空間 一 面積 推定
Grier, 1971 Grier 定義 ， 17 式 あ
′ 17
，H FA 大 い場合 限 ，逆 場合 18 式 使う
′ 18
場合 ，d’ A’ 使う 推奨
3.4
選択理論 比数理心理学者 あ Luce 選択公理 choice axiom く選択理論 ，等 散
正規 信号検出理論 非常 似通 指標 あ う 選択理論
弁 力指標α ， 19 式 定義
19
指標 対数形式 あ わ ， 20 式
20
d’ 定 数 ln(α) 漸 近 性 質 知 Macmillan and Creelman, 2005, p. 95-96 ，数理的 d’ ln(α) 関係 深い cf. DeCarlo, 1998
3.5
d’ c 標本誤差 信 区間 構成信号検出理論 指標 ， 標本値 あ 標本誤差 あ d’ 標
30
準誤差 ，漸近的 方法 Macmillan & Creelman, 2005, p. 325
，あ 比率p ，標準正規 逆数 観測値z(p) 標本 散 21 式 表
∮ 21
， 22 式 う d’ 標本 散
′ ∮ ∮ 22
， 23 式 標準誤差 表
′ ′ 23
正規 使 ，95%信 区間 CI 構成 ， 24 式 通
% ′ ′ . ′ 24
c 標準誤差 ， 25 式
. ′ 25
，一般的 方法 問題 あ いわ い ，注意 必要 あ
Macmillan & Creelman, 2005 ， 正確 計算法 いく 案 い
4.
析 例， 体的 数値例 元 ，信号検出理論指標 計算 う あ 観察
者 対 語彙性 断課題 ，以 う 反応 得
31 表2.
あ 観察者 反応 例
刺激 特性
観察者 断 実在語 k = 50 擬似語 k = 50
実在語 29 18
擬似語 21 32
注. タ 実際 い
次 ， 反応 比率 表3 う
表3. 反応 比率
H M FA CR
.58 .42 .36 .64
，弁 指標 d’ 手順 26 あ
′
= . .
. .
.
26
値 多少 弁 力 示 解釈 ， 値 真値 等 い 限
い 注意 必要 あ
次 ， 断基準c 計算 手順 27 あ
. .
.
27
値 やや負 方向 あ 解釈 ，弁 力 同様 ， 値
真値 等 い 限 い 注意 必要 あ
32
， 観察者 反応 ROC 空間 置 ， 4 う
4. ROC 2次元空間 付置 例
信号検出理論指標 計算 ， う 比較的容易 あ ，計算 行う
やソ 複数あ ，Macmillan and Creelman 2005 ，Microsoft Office Excel う 計算 う方法 紹 い 統計環境R R Core Team, 2015
，標 準的 関数 組 合わ 計 算 ，信 号 検出 理論 析 専 用
psyphy Knoblauch, 2014 公開 い
，第一著者 1 ，Microsoft Excel 計算用 ，R
プ 動作 計算用関数 無償公開 い 特 後者 ，複数 観察
者 反応 ，古 的 理論 う 正誤 2値 入力 行列 ，刺激 特性
入力 指定 ，本稿 紹 べ 指標 一覧 出
力 く，ROC 2 次元空間 各観察者 付置 出力 付録 ，
関数 コ 掲載 い
う ，信号検出理論 析 外国語教育研究者 入 容易 あ
，研究活動 入コ 高く い
5.
信号検出理論 外国語教育研究 応用可能性外 国語教 育 研究 ， 信号 検出 理 論 い 析 民 得 い
いえ い 昨 国内研究 ，音声，語彙や文法 扱う研究 一部研究例 見
e.g., Goto, 2016; Kusanagi, 2014 ，未 研究例 少 い いわ え い
理由 考え ，第二言語習得研究 い 関連諸 い
，一部 研究領域 除い ，信号検出理論 数理的基盤 十 浸 い い
あ 第二言語習得研究 ，従来 心理言語学や神経科学 交流 盛 あ
0.0 0.2 0.4 0.6 0.8 1.0
0.00.20.40.60.81.0
FA
H
33
，認知心理学，特 記憶や意識 関 研究， 数理心理学 交流 比較
的遅 い 心理言語学 ，1990 代後半 反応時間や 解時間 い 行動
タ ，神経科学 ，いう く従来 生理 タ 主 扱う ， 断成績
析手法 ， 第二言語習得研究 通 外国語教育研究 輸入
あ
次 ，信号検出理論や数理心理学 理解 ，数理的 素養 必要 う
え ，理由 考え 外国語教育研究者 ，得 数理的 職
業訓練 機会 恵 い ，数理的 プロ チ 避 傾向 あ 考え
， う 状況 ， 後変化 いく 考え 現在 第二言語習
得 ，数理心理学 く ，記憶や意識 関 研究 交流 徐々 活発
い 特 ，人 言語学習や明示的 暗示的知識 関 研究領域
顕著 傾向 あ ，認知心理学 意識 研究 触発 第二言語習得研究や外国
語教育研究 国内外 い 近 見 う e.g., Rebuschat, 2014; Tamura et
al., 2016 ，R い 極 優 研究 普及 ，信号検出理論 い
数理的 プロ チ 研究者 増や いく 思わ
，信号検出理論 析 適 タ ，必 外国語教育研究 得や
い 限 い 注意 必要 あ 信号検出理論 使用 数理心理学
，反応 タン 主 関心 ， 型的 ， 被験者数，大試行数 タ
得 一方，外国語教育研究や 関連諸 ，被験者間 散や 共変 関心
，被験者間 散や 対 回帰係数 推定 都合 あ ， 中被験者数，
中試行数 タ 得 あ ，学習者 あ 被験者 ，大 実験的負担
憚 あ ， 十 被験者数 確保 他 比べ比較的困
あ ，結果 被験者数， 試行数 い タ 手 入 い場合
多い う タ ，いう く信号検出理論 析 向い い い 外
国語教育研究 信号検出理論 応用 ， 試行数 十 増や ，
実験 適正 計画 必要性 あ 一般 信号検出理論 析 ，観察者毎 反
応 プ 避 い ，推定精度 や 得 い場合
あ 考え い ， う 処置 含 ，外国語教育研究独自 研究
目的 合わ 適 処置 選択 う心 べ あ
6.
総括本稿 ，信号検出理論 数理的基盤，特 等 散正規 出 行い，外
国語教育研究 応用可能性 論 信号検出理論 ，従来 析
析観 多様化 いう い ，手法 利 見込 更 ，
34
現在 発展 析自体 入コ く い 実験計画
多少 留意 残 ，概 ， 外国語教育研究 有望 析手法
あ いえ
注
1. https://sites.google.com/site/kusanagikuni/home/tips/sdt
参考文献
Barrett, A. B., Dienes, Z., & Seth, A. K. (2013). Measures of metacognition on signal-detection theoretic models. Psychological Methods, 18, 535–552.
DeCarlo, L. T. (1998). Signal detection theory and generalized linear models. Psychological Methods, 3, 186–205.
Dienes, Z. (2016). How Bayes factors change scientific practice. Journal of Mathematical Psychology. Advance online publication. doi:10.1016/j.jmp.2015.10.003
Goto, A. (2016). The effects of prosodic cues on auditory sentence processing: An analysis focusing on early and late closure. LET Journal of Central Japan, 27.
Green, D. M., & Swets, J. A. (1966). Signal Detection Theory and Psychophysics. New York: Willey.
Grier, J. B. (1971). Nonparametric indexes for sensitivity and bias: Computing formulas. Psychological Bulletin, 75, 424–429.
Knoblauch, K. (2014). psyphy: Functions for analyzing psychophysical data in R. R package version 0.1–9. http://CRAN.R-project.org/package=psyphy
Kusanagi, K. (2014). Speeded effect on accuracy, sensitivity, response bias and reaction time of L2 learners' grammaticality judgments: Using signal detection theory. JABAET Journal, 18, 37– 54.
Lee, M. D. (2008). BayesSDT: Software for Bayesian inference with signal detection theory. Behavior Research Methods, 40, 450–456. doi:10.3758/BRM.40.2.450
Macmillan, N. A., & Creelman C. D. (2005). Detection theory: A user’s guide (2nd ed). Hillsdale, NJ: Erlbaum.
R Core Team (2015). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. Retrieved from http://www.R-project.org/.
Ratcliff, R. (1998). The role of mathematical psychology in experimental psychology. Australian Journal of Psychology, 50, 129–130. doi:10.1080/00049539808258788
Ratcliff, R. (2002). A diffusion model account of reaction time and accuracy in a two choice brightness discrimination task: Fitting real data and failing to fit fake but plausible data.
35 Psychonomic Bulletin and Review, 9, 278–291.
Ratcliff, R., Gomez, P., & McKoon, G. (2004). A diffusion model account of the lexical decision task. Psychological Review, 111, 159–182.
Rebuschat, P. (2014). Investigating Implicit and Explicit Language Learning. Routledge.
Tamura, Y., & Harada, Y., Kato, D., Hara, K., & Kusanagi, K. (2016). Unconscious but slowly activated grammatical knowledge of Japanese EFL learners: A case of tough movement. ARELE, 27, 169–184.
Yonelinas, A. P. (2002). The nature of recollection and familiarity: A review of 30 years of research. Journal of memory and language, 46, 441–517.
付録
信号検出理論用分析コードの例
sdt<-function(res,key,correc=T,plot=T){ mp<-sum(key==1)
mn<-sum(key==0) acc<-rowMeans(res) rt<-function(x,key){
h<-sum(x[key==1]==1) m<-sum(x[key==1]==0) cr<-sum(x[key==0]==1) fa<-sum(x[key==0]==0) list(h,m,cr,fa)
} t4<-
data.frame(t(matrix(unlist(apply(res,1,FUN=rt,key)),4,length(res[,1 ]))))
colnames(t4)<-c("Hit","Miss","CR","FA") r4<-data.frame(t4[,1:2]/mp,t4[,3:4]/mn) if(correc==T){
r4[,1:2][r4[,1:2]==1]<-(mp-.5)/mp r4[,1:2][r4[,1:2]==0]<-.5/mp r4[,3:4][r4[,3:4]==1]<-(mn-.5)/mn r4[,3:4][r4[,3:4]==0]<-.5/mn }else{
36 }
p<-(t4[,1]+t4[,4]) n<-(t4[,2]+t4[,3])
rp<-(t4[,1]+t4[,4])/length(key) rn<-(t4[,2]+t4[,3])/length(key) posneg<-
data.frame("Positive"=p,"Negative"=n,"Positive.Ratio"=rp,"Negative. Ratio"=rn)
d.prime<-qnorm(r4[,1])-qnorm(r4[,4])
criterion<-.5*(qnorm(r4[,1])+qnorm(r4[,4])) beta<-exp(d.prime*criterion)
A.prime<-1/2+( (r4[,1]-r4[,4])*(1+r4[,1]- r4[,4])/(4*r4[,1]*(1-r4[,4])))
B<-(r4[,1]*(1-r4[,1])-r4[,4]*(1-r4[,4]))/(r4[,1]*(1- r4[,1])+r4[,4]*(1-r4[,4]))
logOR<-log(r4[,1]*r4[,4]/r4[,2]/r4[,3])
sdti<-data.frame(d.prime,A.prime,criterion,beta,B,logOR) if(plot==T){
plot(r4[,4],r4[,1],xlim=c(0,1),ylim=c(0,1),xlab="FARatio",yla b="Hit Ratio",pch=20, cex=1.5,main="ROC Space")
for(i in 1:3){
lines(pnorm(seq(-4,4,.01),i,1),pnorm(seq(- 4,4,.01),0,1),lty=2,col="blue")
}
for(j in 1:3){
lines(pnorm(seq(-4,4,.01),0,1),pnorm(seq(- 4,4,.01),j,1),lty=2,col="blue")
}
abline(0,1,lty=2,col="blue") }else{
}
list("Accuracy"=acc,"Reaction.Table"=t4,"Reaction.Ratio"=r4," Positive.Negative"=posneg,"SDT.indices"=sdti)
}
