[本文リンク:研究部会のサイト] CV 草薙邦広のページ

39 

Loading....

Loading....

Loading....

Loading....

Loading....

全文

(1)

外国語教育 学会 LET 西支部 ソ 研究部会 2014 度 第6号報告論集 草薙 邦広 pp. 46–84

46

教育実践

集団

処遇

結果

解釈

定量的方法

―効果量

利用

限界

草薙 邦広

古屋大学大学院

日本学術振興会

概要

外国語教育研究 析 手法 ,2000 代 い 高 度 化 い 。 ,日頃 教育実践 ,学術的知見や, 支え 高度

析 結果 適 理解 , 自 意思決定 役立 容易

い。 え , 析 い 効果 effect size 根本的概念 ,外国

語教育 携わ 実務的観 , 親和性 高い い。 ,

本稿 , ,実験計画法,統計的仮 検定, 効果 信 区間 算出 い 方法 い 紹介 , ,集団 対 処遇 結果 解釈 いう文脈

実務的 観 ,やや い い e.g., 解釈困 性,中心傾 向

依 い 示 。 ,効果 , 解釈 容易 変換 指標 あ 効果偏差値 e.g., 伊藤, 1998 優越率 e.g., 風原, 2014; 風原 芝, 1987

紹介 。最後 ,効果 解釈 い部 補う ,い あ

い定 的方法 e.g., 比較 , 回帰 い 析法 案 。

Keywords:

法,研究方法論,統計,効果

,教育評価

1.

背景

あ 特定 カ キュ ム,教育プ ム,指 法,教室内外 活動, 学習者 自 的

学習方法 ,い い 効果 , いう観 ,非常 素朴

,教育 者 常 最大 関心 あ 。当然 ,教育 者 ,日頃

教育実践 い ,無数 意思決定 迫 い 。 ,概 , 意思決定 正

対 担保や客観的 証拠 ,容易 得 い。 えば, 学期,英語科 一丸

組 い あ い教室内活動や生 課 い 課題 , 来 ,成

績 う 影響 い , ,昨 度 一新 新カ キュ ム 効果 い あ

(2)

47

客観的 測定 評価 ,第一 ,人的 資源 必要 あ 。教育 者 大部

,通常 業務 わえ, う タ 析 う , や い い。 ,定

量的 方法 集団 対 処遇 結果 treatment outcome 解釈 ,言語 ,統計学,

教育評価 関わ 多少 専門性 要 あ ,定性的 観察 , ,

以 訓練 要 。

教 育 従 者 ,あ 処 遇 結 果 検 討 高い , 自 体 好 い え ,い い あ う。 ,一方 ,外国語教育 わ

析 手法 ,飛躍的 高度化 い 。特 近 ,統計的仮 検定 依拠 い 従来 析方法 ,全体的 , 析 制約 減 ,結果 頑健 ,

自 手 法 う い Larson-Hall, 2012; Larson-Hall &

Herrignton, 2010 。 ,効果 や 信 区間 後述 視 いう現在 顕

著 風潮 ,従来 ン あ 統計的仮 検定 対 依 脱却

い いう , 統計改革 いえ あ う e.g., 大久保, 2009 ,体系

的 過去 研究成果 統合 析 ,外国語教育研究 , 熟期

う え 。 ,効果 や 信 区間 視 い 動 , , 以

外 析技術 向 ,外国語教育 実務 還元

い いえ ,い い あ いわ え い。

, う 現 象 対 象 場 合 , 実 務 的 い 実 用 主義 的 観 , 学術的 い 理論実証主義的 観 , 見方や 異 いう

,世 常 あ 。 ,外国語教育 い 例外的 い う わ 。 え ,本稿 大部 割い ,後 わ 明 ,外国語教育研究や第 言語

習得研究 析 e.g., Norris & Ortega, 2006 い ,統計的 効果

示 指標 効果 ,effect size 一部 ,外国語教育 わ ,い 実務的 観

, 解釈 や い い。 ,実務的 観 学術的

観 ,根本的 異 来 い。

,学 術 的 観 , 効 果 自 体 対 実 質 科 学的 解 釈

, 必要 い。 ,学術的 観 ,対象 現象

効果 ,十 精度 い 確証 観測 , 観測 対 整合的 理論体系 築 要視 。 ,効果 ,種々 ン や統計的仮 検定 前

諸概念 根幹 あ 。

一 方 , 実 務的 観 , 効 果 実 質 科 学 的 解 釈 ,直 面 問題 解 決 や意 思

決定 寄 い 要視 e.g., 風原, 2014 。あ 処遇 効果 大 い

, い , い 解釈 ,処遇 あ 選択 直接的 材料 う

, ,見込 結果 対 予測 材料 う い 。

(3)

48

果 処遇 結果 解釈や, 析 知見 ,有効 活用 い ,

, 前 , 活用 う いう観 明示的 論 い

わ い。 効果 値 解釈 ,実質科学的 結果 解釈 役立 いう一般的 見方 ,外国語教育 い 型的 ,集団 対 処遇 結果 解釈 場面 い

, 正 い う 。本稿 , , 効果 値 解釈 論 軸 ,外国語教育 実務的観 ,集団 対 処遇 結果 ,定 的方

法 解釈 い 考察 あ 。

本 稿 ,最 初 , 集団 対 処 遇 結 果 検 証 集 方 法 準 実験計画法 い , ,統計的仮 検定 ,効果 信 区間 い , 簡便 概論 。 後,効果 一部 連 概念 , 面 い ,

外国語教育 実務的 観 わ い あ 。 ,

相 補う あ う,い 方策 e.g., 効果偏差値,優越率,比較 , 回

帰 い 析 い 紹介 。

本 稿 , 一 部, 数 学 的 統 計 的 知 識 要 う え 部 あ

。 , , 者 心 削い , 者 理解 困 ,

著者 本意 い。 う 部 飛 , ,論 通 う

あ 。

2.

2.1

準実験計画法 統計的仮 検定

集団 対 処遇 結果 検討 タ 集方法 ,実 あ 。

外 国 語 教 育 研 究 第 言 語 習 得 研 究 , 実 験 協 力 者 無 作 標 本 化 random

sampling ,無作 プ 割 あ random asignment , 実験者 変数 完全

操作 困 あ , う 条件 満 い準実験計画法 quasi-experimental design

ば 手法 い 多い。

準実験計画法 ,実験計画 い わ 。外国語教育研究 い , 繁 い ,非 一集団計画 non-equivalent group design, NEGD あ 。NEGD ,実験協力者 ,複数 群 実験群 統制群 い 処置群 比較群 対 無作 方式 い方法 割 あ ,処遇 挟 試験 検査,実験

い,成績 比較 。外国語教育 通常,学 ,学級, 講 い 授業

各群 割 あ う , う 場合 無作 方式 い いえ 。 ,非 一変数計画 non-equivalent variable design,NEVD

方法 あ 。NEVD ,NEGD 異 , 一 群 対象 。 ,NEGD

様 , 一 群 実験群 対 ,処遇 挟 2 間 試験 う。 試験 ,

(4)

49

う処遇 あ 集団 対 実 , 前 後 , 語彙 解 う, いう 合 あ 。 場合,群間 ,変数間 比較

効果 検証 。

前 あ 留 ,準実験計画法 , ,

手法 あ 。 前 成績 い ,任意 閾値以 成績 実験参 者 対 処遇 実 , 前― 後 回帰直線 差 検討 連続回帰

ン regression-discontinuity design,RDD ,NEGD う , 後 集

計画 only post-test design , , 一 例研究 single case study あ 。

本稿 , 以後,準実験計画法 う , 型的 あ 考え NEGD

得 議論 基本軸 い 。

準実験計画法 集 ,通常,一般線形 e.g., 散 析, 共 散 析,多変 散 析,多変 共 散 析 い 析 。NEGD

対 散 析 い 場合 , 立変数 群 実験群 統制群 2水準,被験 者間要因 時期 前 後 2水準,被験者 要因 ,従属変数 試験 成 績 混合計画 い 。 , 立変数 交互作用 統計的 有意

あ ,処遇 集団 均値 変動 影響 一様 い,

いう ,処遇 効果 あ 解釈 。

統計的仮 検定 statistical hypothesis testing 観 い , 統計的 有意 あ

いう 示 , 母 均差 0 あ い 統計的帰無仮 null hypothesis,

H0 前 ,観 察 統 計 対 確率 論的 整合 性 い, い う

あ 。 ,統計的有意性 ,処遇 結果 適 解釈 場合 ,非 常 限 い 。簡便 例 あ , ュ ン t 検定 い 均差 検 討 有意確率 ,検定統計 t 自 度 対応 確率 あ 。検定統計 あ

t ,効果 大 わ 後述 推定 精度 標本 大 積 あ いえ

e.g., 風原, 2002 。 ,統計的有意性 得 ,効果 い場

合 あ う , 逆 統 計 的 有 意 性 得 , 効 果 大 い 場 合 あ e.g.,

Kline, 2004; 水本 竹 , 2008 。 ,統計的有意性 ,効果 大 議

論 基本的 い。 ,処遇 結果 統計的有意性 示 ,

, 教育実践 ,望 い処遇 担保 い。

統計的仮 検定 考え , ,適 統計的仮 検定 う

,前 予測 効果 大 対 適 標本 N 設定 必要

あ 。 ,検定力 析 power analysis 手続 う い

e.g., Erdfelder, Faul & Buchner, 1996; 水本 竹 , 2011; 豊 , 2009 。 ,学術的 観 ,研究 対象 効果 大 ,原理的 制限 あ わ い。

(5)

50

, 一 ,学問的 文脈 研究者 心 依 。微 効果 現象 ,あ 程度 精度 観測 ,必然的 大 標本 必要 。 逆 ,大 効果 観測 , 標本 あ 十 検定力 得

場合 あ e.g., 永 , 2003 。 ,教育実践 わ ,標本 適

統制 ,容易 い e.g., 草薙, 2014a 。

, 集 方策 準実験計画法 適 ,統計的仮 検

定 有意性 いう観 ,処遇 結果 解釈 立 , 完璧 い。 , 言明 ,一般的 統計的仮 検定 是非 論

い ,処遇 結果 解釈 場面 ,統計的仮 検定 有効性 疑う い。

2.2

純効果 標準化効果

本稿 , 文脈 い , 効果 effect いう

い 。 , , 意味 あ 。一般的 ,統計学

効果 , 全体 ,任意 研究者 心 一部

示 e.g., Cohen, 1988 。 え ,2 群 , 群 固有

あ 。群 散布度 数 化 , 散,標準偏差や

四 区間 い 風原, 2002 。 う あ ,群間

,一種 効果 。 ,2 変 あ わ

,共 散 い 。相 係数 ,共 散 2変 標準偏差 割

あ ,相 係数 一種 効果 あ 。

, う 概念 , 実 質科 学 的 意味 効 果 , 容易 置 換え い。 え ,あ 処遇 結果 望 , 記 う 統計的 意味

任意 , 一視 い あ 。処遇 結果 望 ,実務的

文脈や目的 , あ 多岐 わ 。一方 ,統計的 効果 , う 文脈や目的 数 的 映 わ い。

統 計 的 効果 数 化 , 効 果 指 標 い 和 文

易 概 ,大久保 岡 , 2012; 水本 竹 , 2008, 。効果 指標 ,

, あ 。 , 純効果 非標準化効果 標準化効果 区 あ e.g., Frick, 1999; Olejnik & Algina, 2000 。

型的 場合,1変数2群 い 2変 1群 純効果 均差 mean difference,

md あ 。NEGD 実験群 統制群 比較 念頭 ,実験群 統制群

均値 µ い ,

(6)

51

あ わ 。 ,添 群 あ わ ,1 統制群,2 実験群 い 。

当 然 , 均 差 測 定 あ わ い 。 , 値

,実験群 う 20 成績 高い, いう う 解釈 。 ,異 , ,測定 異 あい , 均差 直接比較

い。 え ,990 満 TOEIC ,10 満 語彙

比較 基本的 無意味 あ 。

う 場 合 , 測 定 依 い 標 準 化効 果 い 。 標準 化 効 果 , 実 種 類 あ , , 主 , 標 準 化 均 差

standardized mean difference あ 。標準化 均差 ,d族 効果

あ e.g., Cohen, 1988; 大久保 岡 , 2011; 水本 竹 , 2008, 2011 ,Cohen’s d

Hedge’s gやGlass’ ⊿ い 指標 あ 。 ,NEGD 析 い ,

最 一般的 指標 あ ,Glass’ ⊿ 定義 見 。⊿ ,2 群 均値 µ 統制群

標準偏差 σ ,以 う 。

⊿ = μ2− μ1 σ1

⊿ 標準化 均差 ,得 自体 母 ,集団 基準

標準化 い ,異 測定 間 効果 比較 。

,研究間 測定 え , 処遇 標準化 均差 1.00 あ , 均 差 標準偏差 大 ,両方 程度 あ , いう う 解釈 。複数 研究 成 果 体 系 的 統 合 析 外 国 語 教 育 代 表 的 研 究 ,Norris &

Ortega, 2006 あ , う 測定 標準化 , 可能 。

,外国語教育研究 ,異 測定 方式 処遇 結果 ,直接的 統

合 ,比較 一定 批 あ e.g., 亘理, 2014 。

近 , 外 国語 教 育 研 究 第 言 語 習 得 研究 , 析 隆盛 あ ,非 常

多様 研究 例 刊行 い 。一般的 ,群間 均値

比較 あ う 析 ,標準化効果 ,⊿ Cohen’s d い 場合 多い。参考 ,d 算出 方法 い 触 。計算 ⊿ やや複雑

, ,群間 標準偏差 pooled standard deviation 。n

本 ,σ 各群 標準偏差, 添 群 ,

σpooled= n1 - 1 σ1 2

+ n2 - 1 σ21

(7)

52

。 ,2群 標本 等 ,

σpooled= σ1

2

+ σ22 2

い。⊿ 様 ,標準偏差 均差 割 ,

Cohen′s = μ2− μ1 σpooled

d あ 。

標 準 化 均差 , 記 う ,測 定 , 統 計 的有 意 性 いう 値的 断 終始 統計的仮 検定 枠組 異 , 値 大 自体 実質科学的

解釈 い e.g., 大久保 岡 , 2012 。 ,国 外

問わ , 研究 効果 報告 要性 主張 い e.g., Kline, 2004;

大久保, 2009; 大久保 岡 , 2012 。

2.3

効果 誤差

, 通 常 ,手 元 得 効 果 値 , 標本 効 果

い e.g., 風原, 2002 。効果 標本誤差 あ 。仮 , 一条件 実験計画 繰

返 , 度 ,標本効果 値 い ,処遇 結

果 母効果 知 , いう 論理的 い問題 あ 。

あ ゆ 要因 条 件 付 ,過 去 あ 処 遇 , 一度 あ 考え,あ , 処遇 いう 再現性 ,議論 対象 ,処遇

あ , 考え 。 場合,得 効果 母効果

え 差 支え い。一方,特定 特性 処遇 ,特定 特性 実 場合, いう う , 処遇 組 合わ い 一般化 母集団 想定 , 得 効果 標本効果 い いえ 。 ,研究者や教育実践者

, 場合 応 考え 問題 あ , ,便宜的 後者 考え 。

(8)

53

= +× !

!# + $

!

2 + !− 2 %

あ わ e.g., 風原, 2002 。

標準誤差 い ,任意 幅 信 区間 confidence interval,CI 推定

。信 区間 ,母数 対 区間 推定 あ 。一般的 広 い ,95%信 区間 あ 。標準誤差 ,95%信 区間 限値

限値 ,

95% CI = ± 1.96 ×

外 国語 教育研 究 い 一般 的 あ う ,40 人 程度 学級 規模 比 較 ,d =

0.50 , 95%信 区間 限値 0.05, 限値 0.95程度 あ 。 ,研

究者 直感 広い え い e.g., 豊 , 2009 。

,標本効果 値 ,非常 固定的 え い わ

。 ,区間推定 限値や 限値 ,標本値 い 推測 値 い

あ , 注意 あ e.g., 風原, 2014 。

, 統計 的 有 意 性 得 い ,効 果 値 議 論 積極 的

進 ,勇 足 い。統計的有意性 い いう , 実験

設定 標本 ,対象 効果 適 精度 観測 い い,

いう い。 ,推定 効果 値自体, 信用 い い

う あ e.g., 水本 竹 , 2011 。効果 値 実質科学的 解釈 要

あ い , 効果 値 確 , , 以 要 観

あ いえ 。

,対 応 い比 較 純 効 果 標 準 誤差 , 以 う 。

- = − 1 σ

!+

!− 1 σ!!

− !− 2 ×

1 + 1

!#

値 ,群間 標準偏差 対 ,標本 大

(9)

54

. =

μ

!

− μ

-標 本 効 果 報 告 , 信 区 間 推 定 ,現 状 ,研 究 公 刊

うえ ,非常 優 方策 い e.g., 大久保 岡 , 2012 。 ,実験計画

,目標 効果 信 区間 満 標本 ,前 決定

e.g., 風 原, 2002 。 効 果 標 本 設 計 正確 度 析 precision

analysis 。

3.

集団 対 処遇 結果 解釈 効果

う , 効 果 , 誤 差 え 注 意 , 集団 対 処 遇 結 果 あ わ 指標 う 。 え ,統制群 実験群 均差や標準化 均差 , 処遇 効果 場合 あ 。 均差や標準化 均差 値 大 ,処遇 成績 影響 強い いえ , 均差や標準化 均差 大 い 既知 あ 処

遇 ,教育実践 積極的 入 い い。

Norris and Ortega 2006 ,外国語教育研究 ,実 処

遇 結果 い 析 刊行 い 。 ,近 ,教育実践 報告 い

,集団 対 処遇 結果 あ わ ,効果 い う

い 。 試 ,わ わ , 要 知見 あ え い ,疑い う い あ 。

, 非常 限 場 面 あ , 教育 実 践 念頭 置 い , 集 団 対 処遇 結果 あ わ 効果 利用 ,常 適 あ , い い い い。本稿 目的 一部 ,効果 利用, 自体 わ

, 限 文脈 ,効果 利用 実務的 情 い ,多

少 考察 あ 。

, 結 論 , 著 者 主 張 , 効果 利 用 , 外 国 語教 育 研 究 や第 言語習得 学術的 立場 ,教育実践や わ 実務的 い

観 親和性 欠 面 あ , いう あ 。 ,著者 ,教育実践や,

わ 実務的 観 ,特定 処遇, ,あ ュ ,教育

的 ,指 法,教室 外 活動,学習方法 い ,

い ,意思決定 , いう場面 念頭 置い い 。 想定自体,一般的

い い。 ,仮 , う 場面 効果 利用 い 考察

,一般的 文脈 効果 利用 い 理解 , 深 い。

(10)

55

う い ,実務的観 親和性 欠 , 体的 8 あ い 。 ,本質的 , a 値自体 解釈 困 あ , b 効果

布 中心傾向 あ わ , 来 , ,複雑

わ あ い ,前 。

3.1

標準化効果 値 解釈 容易 い

効 果 ,実 質 科 学 的 解 釈 役立 い , 標 準 化効 果 標準 化

均差 ,前述 ,測定 依 い。 ,逆 測定

依 い 値 , 効 果 困 う

e.g., 伊藤, 1998 。 え ,d = 0.20 ,実質科学的 効果 あ ,

理解 や い い。秋 県在 愛知県在 男子高校生 身長 い

標準化 均差 , d = 0.20 。 値自体 ,直接的 ,

直感的 理解 , 可能 あ 。

後述 ,効果 ,標準正規 布 N 0 , 1 あ わ ,

標準化得 い z 得 図 1 。標準化得 対 ,親

, う い ,効果 値自体 親和性 高い え い う。

図1. 標準正規 布N 0 , 1 確率密度曲線

, , 純効果 解釈 有効 あ 。 均 10 伸

, いう実測値 情報 , わ 直接的 理解 。

, 逆 , 複 数 処 遇 結 果 比 較 , 測定 一

う , 大 い 均差 , い

均差 ,直接的 比較 適 い。図2 , う 場合

示 い 。

-4 -2 0 2 4

0

.0

0

.1

0

.2

0

.3

0

.4

z-Score

D

e

n

s

it

(11)

56

図2. 均差 異 2群 布 例

図2 a b , 均差 5 あ , 純効果 値

。 , a う , b あ い。 純効果

, う い 区 い。 場合, 大 大 い

,誤差 変動 大 , 大 異 均差 比較

有益 い。

,図2 a d = 2.50, b d = 1.00 。 場合 ,⊿ 値

3.2

解釈基準 文脈 依

う , 標 準 化 効果 値 自体 , 直 接的 解 釈 容易 い ,

解釈 基準 使わ あ 。一般 ,Cohen 1988 案 基準

参照 多い。Cohen 基準 ,d 場合 ,0.20 ,0.50 中,

0.80 大 い 。⊿ , 標準化 均差 基準 準 あ

う 。 , 要 あ ,Cohen 自身 い う e.g., Cohen,

1998, 1994 , う 解釈基準 固定的 え い。

効 果 ,研 究 や, 研 究 者 対 象 現 象 自 体 強 依 , 固有 ベン 開発 う いう試 あ 。外国語教育研究や第 言語習

得 ,Plonsky and Oswald 2014 ,過去 刊行論文 参照 ,外国語教育研究

, 自 効果 解釈基準 案 い 。 う 考え ,学術論文 出 ン 解釈基準 ,似 現象 研究対象 あい 共有 , いう い ,非常 有益 あ う。

, 本 意 い , 浅学 者 筆 者 理 解 い 。 あ 研

究 知見 蓄積 ,対象 効果 い いう ,一

般的 広 知 い 。外国語教育研究 ,現在 発展 ,将来,刊行

あ う論文 効果 ,相対的 現在 い い。 う ,

再度,効果 解釈基準 , 地 刊行論文 あわ 変え あ う 。

0 5 10 15 20 25 30

0

.0

0

0

.1

0

0

.2

0

0

.3

0

(a)

Score

D

e

n

s

it

y

0 5 10 15 20 25 30

0

.0

0

0

.1

0

0

.2

0

0

.3

0

(b)

Score

D

e

n

s

it

(12)

57

,外国語教育研究 学 的 あ , 測定 , 学術 非常 多様 あ 。 理論面 い , 様 あ 。認知科学 依拠 研究 あ ,社会心理学 依拠 研究 あ 。将来, う 多様性 う ,外国語

教育研究 属 , 研究領域 , 様 ベン 作成 い

必要 あ う 。

, 統計 学 的 意味 効 果 , 効果 示 , 均 差 標準 偏

差 比や, 明 散 比率 あ , 意味 変わ

いう い。 , 標準化 均差 1.00 均差 標準偏差 比率 等 い

示 い 統計的 実 ,各 過去 刊行論文 依拠 い。

いい え ,統計的 意味 効果 値 連続 , 変数 大 中 振 わ ,実質科学的 知見 , 立 あ い。

う , 研 究 や , 過去 刊 行 論文 依 拠 , 実質 科 学 的 意 味 効果 あ 。 ,統計的 意味 効果 ,実質科学的 意味 効果 結

,研究 い 大 い枠組 や, 歴 あ い あ 。

結 , あ , 都度, 文脈

い ,当 者 適 断 あ 。 , 析 い , 様

いえ 。 析 , 析 う 選択基準や ン ,研究

質 規定 。 析 者 , 厳 い目 向 e.g., 亘理, 2014 。

, 以 例 考え 。外 国 語 教 育研 究 析 ,仲 介 変 数 い 多い 処遇 期間 い あ 。あ 処遇 30 間 場 合 ,90 ×6授業 場合 効果 比較 。 以外 要因 影響 ,両者 等 い 仮定 ,結果,前者 d = 0.20 ,後者 d = 0.80 いう観測 得

。 ,Cohen 基準 照 あわ ,前者 効果 ,後者 大 ,

実質科学的 解釈 う 。統計的 意味 効果 , 差 支え い。 均差 標準偏差 比率 い ,後者 大 い いう 変わ

い。 , 処遇 期間 長い後者 う ,統計的 意味 効果 大

い いう ,実務家 , 自明 あ , 有益 観

い。 う 文脈 度外視 ,大 中 いう う 基準 ,議論

進 い。 ,仮 , 文脈 い ,can-do う ,

実質科学的 現象 記述 , う 統計的 意味 効果 基準 連

, い い。 ,外国語教育 い , う

試 い。

(13)

58

あ ,状況依 的 あ 。 ,実務的 観 ,常 解釈 容易 い

え い。 ,以 節 い わ 触 。

3.3

解釈基準 意味 失う場合 多い

何度 書 い い う , 効 果 う 値 現 象 自 体 依 。 微

効果 対象 あ ,大 い効果 対象 あ 。対象

効果 値 極端 い , 大 い現象 対象 場合,現行 大 中

い 解釈 基準 , 意味 容易 失 い い。

え ,微 効果 現象 考え 。極端 例 ,60 処遇 仮 動 機 大 学 教 員 講 演 高 校 生 言 語 学 習 適 性 language learning

aptitude 影響 。 研究者や実務家 , 処遇 効果

0 あ , 考え う。仮 , 処遇 結果 , う 処遇 IQ

練習問題 結果 比較 , 処遇 大 い効果 望 い

う。 ,両方 標準化 均差 ,Cohen 解釈基準 , い い 以

あ 予測 。 , 処遇 効果 程度 あ

効果 いう う。値 直接的 比較 ,相対的 効果 大

論 , 短期間 処遇 ,言語学習適性 影響 い

う文脈 い ,解釈基準 大 中 意味 い。い 以 あ 。

,対象 効果 ,大 値 e.g., > .80 現象 い 様 あ

。い ,い 大 う 効果 あい 比較 ,解釈基準 要性

。 , 解釈 ,情報 損失 う場合 あ 。標

準化 均差 理論 ,絶対値 0 < d < ∞ 値 Olejnik & Algina, 2000 ,興味 あ

効果 値 文脈 依 , いう 忘 い。

3.4

教育評価 目標規準準拠 乖

教育評価 ,個々 対 わ あ ,集団 代表値 評価

議論 ,中心的 い。 ,処遇 結果 ,個々

集団 いう 把握 集団評価 ,有効 あ e.g., 荻 , 1983 。

,荻 ,教育評価 , a 個々 対 絶対的評価, b 教育 あ 学級集団 基準 個々 評価, c 広い地域 基準 ,

置 示 標準検査, いう 者 調和 要 あ いう 荻 , 1983, p.

102 。

効果 ,当然 ,集団 特性 あ わ 値 あ 。 え ,⊿ ,処遇後

個々 伸 代表値 。効果 処遇 結果 解釈 , 記 者

(14)

59

議論 , a や b い 教育評価 要素 満 い。

,教育評価 ,目標規準準拠 集団基準準拠 2 種類 あ い 。目標規準準拠 ,個々 成績 情報 ,教育目標 照

あわ 断 , ュ 開発や指 手 材料 ,診断的 い

。目標規準準拠 ュ ッ ,評価 指 表裏一

体 係 あ 。個々 成績 ,他者 成績 立 い いう ,絶対評価 い え e.g., 梶 , 2006 。

一 方 , 集 団基 準 準 拠 目 的 , 個 々 集 団 置 あ 。個 々

置 知 ,教育 意味 あ 荻 , 1983 , 観

, 基 本 的 , 集 団 い 個 人 正 弁 望

e.g., 梶 , 2006 。個々 成績 ,集団 相対化 い いう ,相対評価

いえ 。集団基準準拠 ,個々 成績 偏差値 あ わ 多い e.g., 梶

, 2006; 荻 , 1983 。偏差値 詳 い ,後述 。

外 国 語 教 育 実 教 育 評価 や , 準 実務 , 両方

観 要 あ , 側面 , いう評価 場面 い あ

。 ,厳密 区 わ , あ う 場面 少 い 考

え 。

, ,効果 話 。効果 , ⊿ , ,集団 値

あ , 集団 基準 標準化 値 あ いえ 。 ,集団基準準拠 側

面 ,目標規準準拠 側面 い。効果 処遇 結果 解

釈 ,目標規準準拠 考え , 根本 異 。

外 国 語 教 育 , 体 的 例 。 あ 特 定 ュ い ,新 出 文法 目 定着 い ,集団 対 処遇 結果 検証 い 。個々 定着

, ,集団 定着 い。 前― 後 文法 目

問題 成績 比較 , ,仮 ⊿ = 1.00 あ 。 , 値

,教育目標や指 観 ,集団 満 いえ う ,

わ い。いい え ,定着 う , いう観 ,集団間 距 断

い あ 。あえ ,効果 解釈 う ,究極

的 ,目標規準準拠 ,全員未知 目 全員既知 一種 理想 ,対象 効果 値 わ 大 い, 予想 いい う。 , ,目標規準準拠 正規 布 い 布 対 制約 い, い

う ,注意 必要 あ e.g., 梶 , 2006 。一方,効果 ,基本的 正規 布

前 い いう あ 。 , うい 情

文脈 依 いう 申 添え い。

(15)

60

外国語 熟 度 , 構成技能 component skills ,外国語学習や使用

心理特性 心 意欲 態度 ,基本的 ,集団 標準化

変化 論 い あ ,効果 解釈 適 え う。

う 構成概念 construct 値 変化 , ,目標規準準拠 例

,比較的幅 い 考え ,効果 相対的 い 予測 。 問 題 , 前述 , 外 国 語教 育 実 務 , あ う

多い いう あ 。校種や学 差 , 場合 ,様態 大

異 う 。効果 理解 わ , 場 応 適 方

策 選択 い。 ,目標規準準拠 側面 強い場合,効果 処遇 結果 解釈 適 あ う。

3.5

ば 考慮 い

,特 ⊿ い あ , 標準化 均差 い ,部 的

, 様 あ 。

1

処遇 結果 解釈 ,効果 利用 方法

,処遇 結果 生 実験群 考慮 う。 え ,

効果 大 ,便宜的 いい方 い 理解い い あ

処遇 結果 ,実 成績 わ い , いう場合 ,当然あ う

。図3 , 効果 ⊿ = 1.00 ,実験群 異 例 あ

わ 。

図3. 標準化 均差 ⊿ = 1.00 異 3 布 例

a 例 , ,統制群 均 ベ 高い成

績 い , c ,30%程度 統制群 均 ベ い成績 い 。 , 前 成績 い 2群 等 散性 あ , a ,処遇

, いえ , c 逆 大 いえ 。

う ,処遇 成績 影響 ,教育的 観 うえ 大 意味 e.g., 前 , 2008; 荻 , 1983 。

基 本 的 , 処 遇 成 績 大 , 均 差 高 , 逆

-4 -2 0 2 4

0 .0 0 .4 0 .8 (a) z-Score D e n s ity

-4 -2 0 2 4

0 .0 0 .4 0 .8 (b) z-Score D e n s ity

-4 -2 0 2 4

(16)

61

大 成績 いう人 い , 適性処遇交互作用 ATI あ

いう 考え e.g., 前 , 2008 。 , 均差 0, 効果 0

あ , 処遇 結果 特徴的 性質 示 場合 多い。図4 例 あ 。

図4. 均差 0 あ 異 2 布 例

図 4 a 例 ,成績 層 数 向 い いえ , b ,逆 い いえ 。 層 , 逆 あ 。例 b 方 ,

ATI あ 可能性 高い ,ATI 情報 要因 得 ,学

習者 化 learner segmentation う い い。 ,図 3

う ,効果 0 い場合 い 様 あ 。

処 遇 結 果 生 , 差 異 い 情 報 , , 中 心 傾向

あ わ 効果 基本的 得 い。 ,効果 ,処遇 結

果 適 解釈 , 要 情報 足 う。

3.6

教育 者 関心 布 中心傾向 限 い

先 関わ , ,著者 想定 実務的 観 あ 。教育

者 意思決定 重心 , 布 中心傾向,特 均値 依拠 い あ う ,

い場面 あ 考え 。

,個 々 傾 向 代 表 値 均 値 , 要 あ 。 均 値 ,集 団 各 偏差 自 均 値 = 散 最 化 値 あ

,個々 成績 ,総合的 , 値 い い。

,教育実践 要性 中心傾向 限 わ い。

教 育 従 者 , , 均 的 成 績 向 層 成 績 向 視 あ う ,逆 , 層 , 層 成績 向 視 場合 あ

い。 え , 補修授業 類 ュ ,集団 均値

, 成績,極論 , 芳 い成績 得 処遇

望 あ わ い。 ,極端 例 ,留学希望者 対

-4 -2 0 2 4

0

.0

0

.4

0

.8

(a)

z-Score

D

e

n

s

it

y

-4 -2 0 2 4

0

.0

0

.4

0

.8

(b)

z-Score

D

e

n

s

it

(17)

62

100 人 い , ,実 留学 資格 得 , 5% あ 。

や , 均値 向 効果 , 5% 能力 伸張 意思決

定 あ , 非合理的 い。 , う 場合 ,目

標規準準拠 う 適 あ い。 , 例 ,集団基準準拠

う 側面 い いえ い。

, 経 済 学 あ い う , 消費 者 効 用 追 い,逓減 い 場合 あ 。 ,教育従 者 意思決定 心 , 層

伸 層 伸 う ,やや歪 思議 い。 ,学

習 高原現象 pleatau phenominon いう あ , 層 伸 ,

層 伸 う 可能性 あ 。第 言語習得理論 ,言語運用 技能 発 ,労力 い 時系列 対 線形 あ 限 い 考え い 。

う 場合, 層 成績 変化 う , 層 ,期待価値 相 対的 高い いう場合 あ う 。 ,場合 逆 あ う 。い

,教育実践 わ 実務 ,実 い ,無数 要因 黙殺 , 盲目的 中心傾向 注目 ,あ 現実的 い う わ 。

え , い ,中心傾向 情報 必要 あ , 要 い い

う , い。

体的 例 図5 あ 。

図5. 効果 実験群 異 布 例

図5 ,破線 統制群 布,黒 灰 実線 実験群 布 あ わ い 。

黒 布 ⊿ = 1.00 あ , 非常 大 い。一方,灰 布 効果 0

あ , い。通常,効果 大 いわ 黒 布 ,効果 0 あ 灰 布 方 ,あ 層 少 い。 場合,効果 大 い黒 布 生 処遇 う 望 い, 一概 いえ あ う 。処遇 結果 望 ,一種

効用 utility あ え , ,統計的 効果 効用 影響

因子 い う。

-4 -2 0 2 4

0

.0

0

.2

0

.4

0

.6

0

.8

1

.0

z-Score

D

e

n

s

it

(18)

63

3.7

有益 布 歪 関 情報 映 い

,代表値 均値 頑健性, いう問題 ,標準化 均 差 効果 , 正規性 満 い場合,値 妥当 場合 あ 。 図6 , 均値 標準偏差 等 い 布 例 示 。実線,破線 ,M = 30

SD = 10 あ 。

図6. 均値 標準偏差 等 い 布 例

歪 度 算 出 効 果 ,統 計 的 望 い ,

意思決定 あ 。破線 M = 30 あ ,中央値 値

い ,半 以 均値 い。 ,半数以 ,効果

あ わ 処遇 結果 ,芳 い成績 いう 。 う

対 ,効果 ,集団 対 処遇 結果 適 映 い いえ

う 。 ,破線 ,実線 層 少 い ,

標準偏差 ,等値 あ 注意 い い。

わ , 破 線 , 均 層 , 均 層

布 勾配 異 。 側 裾 う ,急 , 側 裾 緩や あ 。 ,

層 , 特段 配慮 ,本来あ 対称 あ ,

人 的 結果 示 い いう可能性 あ 。 ,対象 特性 変 化 段階 非線形 あ 理 い。効果 , う 特徴的 布 情 報 映 い。

い , 外 国 語教 育 わ 限 , 学力 , 言 語 知識 , 言 語 技能 い

布 , 集団 い 正規性 限 い。効果 , 均値 標

準偏差 ,必然的 , 布 歪 い 情報 捨象

。 ,実務的 観 , う 布 歪 い 情報 ,概 要 いえ い う。 うい 布 歪 ,処遇 結果 望 影響

い い。

0 10 20 30 40 50 60

0

.0

0

0

.0

2

0

.0

4

0

.0

6

0

.0

8

0

.1

0

Score

D

e

n

s

it

(19)

64

3.8

個々 い 理解 困 あ

対応 あ 場合 ,対応 い場合 情 異 後述 ,効果

処遇 結果 解釈 ,集団 傾向 把握 ,個々 成績 振 舞い い 理解 困 あ 。学術 的 観 , 個人 母集 団 標本 化 1

過 い ,教育実践 わ 限 ,集団 振 舞い 主 心 あ ,個々 評価 心 完全 外 わ い。

,望 ,集団 傾向 個々 傾向 , 心 応 ,適 ベ 集

約 あ 。 う ,処遇 う 集団 傾向 効果

,集団 う 情報 ,以 捨象 い a 単純効果量 あ 均差や

⊿ 標準化 均差 解釈 ,処遇 生 ば 考慮 い, b 標準化 均

差 布 中心傾向 あ わ , c 均差や標準化 均差 ,有益 情報 あ う ,

布 歪 映 い。 い , タ 要約 ,個々 振 舞い 関心 寄

い ,一般化 困 , 解釈 , 莫大 コ う。

教育実践 集団 対 処 遇 結果 , 適 解釈 , a 集団 中 心

傾向 ,個々 振 舞い あ 程度 映 , b , 文脈 対応

いう い 柔軟 あ , c 情報 適 ベ 集約 , d

,解釈 容易 定量的方法 望 。以降 , う 方策 あ 議論 。

4.

効果 解釈 夫

節 , ,効果 値 解釈 い , 方策 一例 示 , 案 効 果 解 釈 方 策 紹 介 。 本 論 , 効 果 偏 差 値 伊 藤,

1998 優越率 probability of dominance; 風原 芝, 1987 風原, 2014 い 共通言

語効果 the common language effect size; McGraw & Wong, 1992 対象 。

4.1

効果偏差値

効 果 偏 差 値 い う 用 語 , 伊 藤 1988 あ , 考 え 自 体 非常 基本的 あ 。伊藤 ,一般的 ,標準化得 z

少 い いう 注目 ,実用的 観 , 偏差値 standard

score 規格化 ,解 釈 容易 い , い 。

前述 , ,標準化得 ,得 均0,標準偏差1 う 変 換 あ 。 変換 ,標準化 い z変換 あ ,標準化

布 , ,正規 布 う い。

(20)

65

0

1

=

2

1

σ

− μ

あ え 。 ,標準化 得 布 い ,

σ σ = 1

あ , ,

3 21− μ 4

15

= 0

あ 考え や い。

偏差値 ,日本 ,比較的馴 や い い 伊藤, 1998 。 ,標準正規 布N 0, 1 ,N 50, 10 変換 あ 。 ,

偏差値

1= 1001+ 50

計算 。

,統制群 1,実験群 2 ,⊿ ,

⊿ = μ2− μ1 σ1

あ 。 ,実験群 均値 ,統制群 均値 標準偏差 標準化

え 。 操作 ,本論 便宜的 比較標準化 。 ,比較標準化 統制群 個々 均 ⊿ 等 い。冗長 う ,⊿ う 書

⊿ = 3

2

!1

σ

− μ

1

#

47

15

(21)

66

個々 標準化得 均値 。 偏差値

変換 , 統制群 比較 場合 ,実験群 均的 偏差値 解 釈 。 ,⊿ 変換 値 ,集団 偏差値 あ わ , 理解 伊

藤, 1988 。仮 ,⊿ = 0.20 あ ,統制群 比較 ,実験群 成績 均的 ,偏差

値 52 程度 あ 解釈 。 ,標準化得 ,

,偏差値 あ 教育従 者 ,有益 方策 う 。

,標準化得 確率 あ わ 。 え ,⊿ 0.20 あ ,

8 0.20 ≒ .58

あ ,実験群 均値 ,統制群 58%程度 置 あ 考え 。 ,逆 いう ,実験群 均値 , 成績 統制群 人 ,42%程

度 予測 いう あ 。 Φ ,標準正規 布 側確率

返 数 あ 。参考 ,図7 ,標準正規 布 積密度 数 。

図7. 標準正規 布 側 積密度 数

う ,⊿ 標準化 均差 ,標準化得 ,偏差値や確率 変換

,効果 解釈 や い い。 , あ

解釈 あ ,種々 変換自体 ,効果 値 変わ わ い。

4.2

優越率 共通言語効果量

優越率 風原 芝, 1987 共通言語効果 McGraw & Wong, 1992 ,基本的

様 あ 風原, 2014 。 ,刊行時期 , やい優越率 いう用

語 い 。

-4 -2 0 2 4

0

.0

0

.2

0

.4

0

.6

0

.8

1

.0

z-score

P

ro

b

a

b

il

it

(22)

67

優 越 率 , 風 原 芝 案 , 標 準 化 均 差 解釈指 標 あ 。 風 原 芝 ,

行動科学 知見 , 決定的 あ 少 , 確率論的

連 強 い あ 場合 多い, いう考察 うえ ,標準化 均差 , 確率的 解釈 有効性 主張 い 。優越率 ,標準化 均差 直接対応

あ ,対応 い 優越率 πd , 母集団 A 任意 選 被験者 得 XA , 立 母集団 B 任意 選 被験者 得 XB

大 確率 p. 70 定義 い 。

2

π<= Pr ?@ ≤ ?B

あ 。 ッ 方法 , 確率 ,

π< = 8

√2#

p. 71 。 dCohen’s d あ 。優越率 , 群 1

抽出 ,任意 群 値 高い確率 あ いえ 。 ,標準化得 ,直感的 理解 助 。図8 優越率 標準化 均差d 係 。

図8. 対応 い場合 優越率 標準化 均差 係

前― 後間 比較 ,対応 あ 場合 , 母集団 い XA

XB 大 い被験者 割合 p. 72 考え 。 風原 芝 , 優越率

π’d い 。 算出 , ,差得 標準化 均差 入

い。差得 標準化 均差 , , i 間 A,B 変数間 差 計算 ,

0 1 2 3 4 5

0

.5

0

.6

0

.7

0

.8

0

.9

1

.0

d

π

(23)

68

DE= AE− BE

, 均差 均値 µD ,差得 標準偏差 σD 。差得 標 準化 均差 ,

H= μσI I

。 い ,対応 あ 場合 優越率π’d ,

π′< = 8 H

あ え 。参考 ,図9 ,対応 あ 場合 優越率 差得 標準 化 均差 係 示 。

図9. 対応 あ 場合 優越率 差得 標準化 均差 係

う 計 算 , ン ッ 手法 代 用 ,対 応 い場 合 ,2群 標本1 抽出 組 合わ い 計算 ,直接計 算 い。対応 あ 場合 ,実験参 者 総数 母 ,差得 正 符号

数えあ い p. 76 。 う 場合 あ わ い ,

組 合わ い 計算 ,莫大 計算 場合 ,1 再

標本化 ッ 任意 数 繰 返 ,簡易的 近似値

得 考え 。

0 1 2 3 4 5

0

.5

0

.6

0

.7

0

.8

0

.9

1

.0

d

π

(24)

69

5.

集団 対 処遇 結果 適 解釈

, 効 果 利 用 処 遇 結果 解 釈 限定 性 補 償 あ う ,い 定 的方 法 い 試案 。 本 稿 対象 , NEGD 対応 い比較 統制群―実験群 ,対応 あ 比較 前― 後

あ 。 ,対応 い場合 前 進 い 。

5.1

ば 比率

第一 , う ,⊿ 標準化 均差 ,中心傾向 示

,実験群 い 情報 い。 ,比較標準化

実験群 数 的 把握 必要 あ 。

比較標準化 前 実験群 ,標準偏差 定義式 ,

σ!= 1

! 3J?!K− μ!L

! 47

15

あ 。 3

,比較標準化 i 成績X

0!K=

?!K− μ σ

あ 。 ,比較標準化 実験群 ,比較標準化 実験群 均値

⊿ あ ,

Standardized σ!= 1

! 3J0!K− ⊿L

! 47

15

あ わ 。 解 ,

= 1

! 3 $

J?!KRμ L

σ − μ!σ− μ %

! 47

(25)

70

= 1

! 3 $

J?!KRμ L − μ!− μ

σ %

! 47

15

= 1

! 3

?!K−μ!

σ #

! 47

15

= 1

! 3J?!K− μ!L

! 47

15

1 Sσ!

。 ,

σ!= 1

! 3J?!K− μ!L

! 47

15

あ ,実質的 σ 値 い ,比較標準化 実験群 ,

Standardized σ!= σσ!

, 散比 F 方根 等 い。

Standardized σ!= σσ!= √T

,比較標準化 実験群 布 ,UJ⊿, √TL あ え う。

前 い , 実 験 群 統 制 群 間 等 散性 あ 仮定 場合 ,

√T 1 超え ,統制群 ,実験群 ,処遇 結果 , 大

考え 。 ,逆 0 回 考え 。

効果 ⊿ 比較標準化 集団 中心傾向 あ わ ,√T 散布度 あ わ いえ 。集団 対 処遇 結果 解釈 ,√T 値 算出

,通常 記述統計 い , 検討 ,

あ 。 , 比率 い ,統計的仮 検定 う ,等

(26)

71

5.2

比較 c 案

比較標準化 実験群 布 UJ⊿, √TL 情報 い ,効果 結

果 解釈 , 場面 応 , 軟 析 う 。 え ,

前述 ,処遇 あ 連 意思決定 場面 い ,当 者

心 中心傾向 限 い。 ,意思決定 場面場面 依 ,相対的 要

視 部 , 布 異 う 。 例 ,中心 , 布

端 注目 。

え ,比較標準化 実験群 成績 予測区間 限値 , 処遇 人 う 最 限 成績 あ わ 標準化得 あ わ 解釈 。 う ,比較標準化 布 情報 い ,処遇 結果 検証 参照 値

, ,総称 比較 c

例 ,95%予測区間 限 比較 c 限比較 , 値 ,

W = ⊿ − .XY.Z T 1 −1#

自 度n - 1 t 布 α あ 。α ,任意 予測区間 側

考え い。 ,場合 応 ,予測区間 幅 変え 比較 定 い。 予測区間 95% あ ,簡易的 以 う 式 置 換え ,実務 ベ

支 い程度 近似値 得 考え 。

W = ⊿ ± 2√T

,標準化 均差 ⊿ ,実験群 指標 考え い。

,効果 高 , , 処遇 c 最大化

。図 10 例 あ 。縦線 限比較 あ 。例 a ~ c 効果 一

あ , い, 比較 値 昇 い 。 様 , d ~

f , 等 あ ,効果 増大 ,比較 値 昇 い 。

,標本 大 ,推定精度 向 値 昇 。

,状 況 , 予 測区間 限 有 効 あ 場 合 あ 。

, 限比較 。 限比較 効果 増大 , 値

昇 い ,実験群 広 ,値 昇 い 。

(27)

72

あ う 。 ,比較標準化 実験群 中央値や最 値 , 布

歪 い 場合,効果 ⊿ ,適 断 可能 場面 あ

い。 ,中央値や最 値 ,完全 い。

図10. 効果量 ば 変動 比較 値 影響

任 意 比 較 , 標 準化 得 あ わ 。 , 標 準化 得 比較 , 便宜的 cz 記 。cz ,標準化得

い ,値自体 解釈 い ,効果偏差値 伊藤, 1988

様 ,偏差値 規格化 い。偏差値 あ わ 比較

,便宜的 比較偏差値 ,cs 表記 。cs ,効果偏差値 様 ,

W[ = 10W\+ 50

。 , 標準正規 布 累積密度確率 あ わ 。標準化正

規 布 , ,標準化 統制群 布 等 い。 ,標準正規 布 累 積

密度確率 あ わ 比較 ,統制群 成績 位置 把握 。 比較

cp ぶ。 cp , 側確率 場合,

W] = 100^1 − 8 W\ _

。仮 95% 予測区間 い 限比較 位 50 場合,実験群 予測区間

限 統制群 中央値 あ , あ 処遇 成績 ,異 処遇

-4 -2 0 2 4

0 .0 0 .2 0 .4 0 .6 0 .8 1 .0 (a) z-score P ro b a b ili ty

-4 -2 0 2 4

0 .0 0 .2 0 .4 0 .6 0 .8 1 .0 (b) z-score P ro b a b ili ty

-4 -2 0 2 4

0 .0 0 .2 0 .4 0 .6 0 .8 1 .0 (c) z-score P ro b a b ili ty

-4 -2 0 2 4

0 .0 0 .2 0 .4 0 .6 0 .8 1 .0 (d) z-score P ro b a b ili ty

-4 -2 0 2 4

0 .0 0 .2 0 .4 0 .6 0 .8 1 .0 (e) z-score P ro b a b ili ty

-4 -2 0 2 4

(28)

73

半 あ う いう う ,直感的 見込 。

,一般的 解釈基準 , や大 ば ,実質的 相対関係 大 消失 う

う 値 効果量 処遇 あ ,比較 い ,適 意思決定

可能性 あ 。 え ,実験群 統制群 等 散 仮定 ,⊿ = 3.00

⊿ = 4.00 95%予測区間 限比較 ,n = ∞ 場合, 85 %

98 % 程度 あ 。 ,0.80 以 値 , ,大

解釈基準 ,場合 ,適 , , 現実 映

い。 ,あ 統制群 実験群 布 い場合,比較

適 評価 い。 う 場合 , 布 実質的 捨象 可能性

高い ,効果 議論 有効 い。

考 え や や 異 , 標本 予 測 区間 , 標本 値 信 区 間 い 似 う 手 い い。標本効果 誤差 あ ,標本効果 母効果 う 解釈 い。 推定値 ,信 区間 限 積極的 解 釈 , 保守的 有効 方法 あ いえ 。

比較 算出 ,文脈 応 方式 e.g., 任意 確率 予測区

間,任意 考え , 区間推定 う必要性 あ う。 う

,簡便 ッ 法 い い 草薙, 2014b 。

う ,本稿 案 比較 ,中心傾向 示 ⊿ ,場合 応 , 豊富 情報 可能性 あ 。 ,中心傾向 縛 ,実務的 観 ,

文脈や状況 応 ,自 任意 着目 , 手法 限 要 あ 。本稿 付録 ,比較 計算例 あ い 。

5.3

対応 あ タ 基本

,基本的 対応 い タ 前 論 進 。 ,NEGD

前― 比較, NEVD 比較 ,対応 あ タ 比較 。対応

あ タ 比較 , タ 対応関係, 共 散 考慮 必要 あ ,対応

い タ 比較 ,一部手法 異 。

,対応 あ タ ,対応 い タ う あ う 。 ,

面 情報 損失 あ 。図 11 均値 標準偏差 等 い ,共 散 異

布 例 あ 。 , 例 ,共 散 異 ,⊿ 一部 標準化 均差 値

一 あ 。

a 例 , r = 0 あ 。 ,処遇 結果 ,考え い あ ,

成績 前 成績 予測 い状態 あ 。 , ,成績 関連 構成概

念 異 強い ATI あ い。 ,個々 伸 幅 差得

(29)

74

, ,ATI 関連 現象 関わ 深 う タ い。例 b ,い

中間 状態 示 い 。

図11. 均値 標準偏差 一 あ ,共 散 異 布 例

伸 幅 ば い , う少 注目 。 ,図 12 ,図 11 タ

い , 度 伸 幅 ム い 。図12 一目瞭然 あ ,や ,共 散

違い ,伸 幅 ば あ 異 わ 。

図12. 均値 標準偏差 一 あ ,共 散 異 タ 差得 ム

実 , ,共 散 2 変数 偏差積 均値 あ 自明 あ 。厳密 い

, ,以 う 考え わ や い。個々 偏差積 ,両変数 偏差

符号 , 変数 偏差 大 ば ,大 い値 。共 散

偏差積 均 ,異符号 偏差 多 ば,共 散 傾向 あ

,逆 符号 偏差 多 ば,共 散 大 傾向 あ 。2 変数 値

差 ば い , 符号 偏差 確率 高 あ ,共 散 大

ば大 い ,差 ば 。

伸 幅 ば ,教育実践 ,効果量 う 大 意味 う ,伸

幅 ば 考慮 必要 あ ,先 紹 ,差得 標準化 均差

0 10 20 30 40

0 1 0 2 0 3 0 4 0 (a) Pre P o s t

0 10 20 30 40

0 1 0 2 0 3 0 4 0 (b) Pre P o s t

0 10 20 30 40

0 1 0 2 0 3 0 4 0 (c) Pre P o s t (a) Difference F re q u e n c y

-10 0 10 20 30

0 1 0 2 0 3 0 4 0 5 0 (b) Difference F re q u e n c y

-10 0 10 20 30

0 1 0 2 0 3 0 4 0 5 0 (c) Difference F re q u e n c y

-10 0 10 20 30

(30)

75

い い。 ,差得 ム 確認 肝要 あ 。い ,対応 あ

タ 共 散 い 考慮 ,論文 ,積極的 報告 あ 。

先 対応 い タ い 論 ,ば 比率 F や 方根 検討

,対応 あ タ 際 有効 あ 。仮 共 散 一 あ 仮 0

,ば 比率 異 ば,全体 タ 傾向 大 変わ 。 図13 例

わ 。

図13. 均値 共 散 一 あ ,ば 比率 異 タ 散布図

3 例 共 散 0 あ 。図 13 a 前

非常 大 い , 後 い 。 c 逆 , b 前―

後 等 あ 。 う 特徴 見逃 い ,対応 あ 析 い

, 比率 検討 要 う。図 13 例 ,簡略化 ,

共 散 0 ,処遇 結果 比較 ,共 散 0 あ いう

想定 い。共 散 比率 複雑 連 あ ,実 両

方 考慮 必要 あ 。

5.4

対応 あ タ 比較

対 応 あ い , 対応 い 様 比 較 い

。 ,対応 い 様 処理 , う , 大 情

報 損失 う。 , 簡便 方法 , 純効果 あ

均差 信 区間 , 限や 限 検討 い。 ,差得 予測区間 検討 , わ 要 あ 。

場合 応 , 母 均差 0 あ いう帰無仮 対 対立仮 心 あ

場合 ,t 検定 い。 差得 母効果 0 あ い

検討 あ 。 方法 ,以 示 回帰 い

,適 い。

0 10 20 30 40

0 1 0 2 0 3 0 4 0 (a) Pre P o s t

0 10 20 30 40

0 1 0 2 0 3 0 4 0 (b) Pre P o s t

0 10 20 30 40

(31)

76

5.5

位 回帰 い 析

一般的 ,対 応 あ タ い , 中心傾向 縛 い 析 ,

位 回帰 quantile regression う い。 位 回帰 ,線形回帰モ あ

, 属変数 均値 予測 来 回帰 析 異 ,任意 位 センタ

イ 予測対象 e.g., Hao & Naiman, 2007; Koenker, 2005 。国内 , 位

回帰 経済学,社会心理学 , 手法的有効性 指摘 い e.g., 石黒, 2013 。

,言語 研究 , 応用可能性 主張 い Chen & Chalhoub-Deville, 2014 。

位 回帰 , 来 中心傾向 依存 析 異 , 統計的制約

自由 あ , 布 歪 や外 値 影響 対 頑健 あ 。 ,複数 独立変数

影響 強 , 位 間 比較 時 析 。 ,集団 対

処遇 結果 ,対応 あ タ 解釈 場面 い , 位 回帰 , う 有効

方策 え 考察 。

,対応 い タ 様 , 前 タ 均 標準偏差 , タ

比較標準化 。比較標準化 タ ,UJ⊿, √TL 布 ,標準化 前

タ ,標準正規 布 う。 タセッ 対象 析 。

表1 あ タ 例 あ 。 ,R R Core Team, 2014 , ッ MASS

Venables & Ripley, 2002 使用 ,多変量正規 布 う乱数 作成 あ 。

表1

位 回帰 い 析 使用 タ 記述統計 N = 100

均 標準偏差

前 20.00 5.00

30.00 5.00

,両方 タ 正規 布 ,共 散 12.50 あ , r = .50 あ 。

, タ 効果量 ,単純効果量 あ 均差 10,標準化効果量 ,⊿ = 2.00

あ 。差得 標準化 均差 ,2.00 あ 。 効果偏差値 あ わ ,70

。 ,優越率π’d ,.98 あ 。

最初 ,F 1 あ ,処遇 , 変動 考え

。 ,対応 い場合 様 ,95%予測区間 限比較 czcz , 0.07 あ 。

,比較偏差値 あ わ ,cs = 51,比較 あ わ ,cp = 53 あ 。 , 全員 後 成 績 , 前 成績 均 回 推測 。 図 14 標準化 前 成績,比較標準化 後 成績 散布図 。 ,斜

(32)

77

図14. 標準化 均差 限比較 付記 例

図14 ,優越率や比較 タ 完璧 整合性 示 い わ 。

,対応 い 析 様 あ 。 , 回帰 い 。

, 側5% 予測 対象 τ = .05 , 回帰 う。R ッ

quantreg Koenker, 2015 い 回帰 結果,

後 成績 = 0.49× 前 成績 + 0.50

いう回帰式 得 。 係数 95%信 区間 ,表 2 い 。図

14 対 , 回帰式 灰色 実線 入 図15 う 。

表2

回帰 τ = .05 推定値 95%信 区間 限 限

推定値 95%信 区間 限 95%信 区間 限

0.50 0.28 0.83

係数 0.49 0.24 0.64

図15. 標準化 均差, 限比較 回帰直線 付記 例

-4 -2 0 2 4

-4

-2

0

2

4

Pre

P

o

s

t

-4 -2 0 2 4

-4

-2

0

2

4

Pre

P

o

s

(33)

78

厳密 い ,実務的 , 得 回帰式 ,対応 あ タ

限比較 う 解釈 あ え い。 ,処遇 人 う う成

績 限 イン あ 。 ,対象 位 任意 あ , 側 5% 限 い。教育実

践 文脈 , 位 興味 対象 う 。当然 あ ,95% 予測区間

限値 , 側 5% 位 , 布 端側 あ わ い あ ,統計的 一

い ,5% いう う 値 固定的 え い。

,得 回帰式 , 前 成績 位置 対応 任意 位 予測

値 。 ,効果量 , 自由度 高い解釈 可能

い。 えば,複数 位 対象 時 析 ,表 3 う タ 得 。

, 記 例 題材 い 。 , 前 成績 均 程度 あ ,

後 任意 示 考え 。 え ,τ = .50 中央値 あ

, 1.94 ,通常 効果 対 ,やや頑健 推定値

う。 ,各 係数 比較 要 あ 可能性 あ 。

表3

5% ,25% ,50% ,75% ,95% 対象 位 回帰 例

推定値 95%信頼区間 限 95%信頼区間 限

τ = .95 3.49 3.37 3.78

係数 0.51 0.09 0.79

τ = .75 2.60 2.36 2.77

係数 0.58 0.22 0.71

τ = .50 1.94 1.71 2.12

係数 0.43 0.36 0.73

τ = .25 1.50 1.30 1.56

係数 0.50 0.29 0.73

τ = .05 0.50 0.28 0.83

係数 0.49 0.24 0.64

,例 あ い 付録 参照 , 回帰 い

析 , 共 散や, 比率, 布 歪 , 述

効果 処遇 結果 解釈 在 問題 大部 ,

中心傾向 束縛 い自 析 可能 。 い ,外国語教育 実務的 観 親和性 ,十 高い 考え 。 , ,標準化

得 あ わ い ,値 偏差値 変換 解釈

(34)

79

5.6

目標規準準拠 考え 比較 位 回帰

個 々 成 績評 価 集 団 対 処遇 効 果 測定 , い 。 ,指 法や教材 選択 ,個々 成績評価 ,集団 対 処遇 結果 解

釈 依拠 多い。 ,効果 集団 , 中心傾向 依拠 方

法 あ ,解釈 容易 あ いえ い。 ,本稿 案 ,比較 や 回 帰 い 析 方策 ,効果 利用 ,集団 対 処遇 結果 解釈

,い 特定 文脈 い 優 い いえ あ 。

通 常 , 目 標規 準 準 拠 考 え , 集 団 基準 準 拠 場合 ,相 対 的 個々 振 舞い 心 あ 。 う ,中心傾向 あ わ 効果 , 布

任意 選択 比較 や 回帰 い 方法 , 層や 層 伸 , 適 定 化 。 う 定 化 情報 ,集団 中心傾向 依拠 効果 ,個々 振 舞い い , わ い情報 考え 。

特 , 対 応 あ 場 合 あ , 処遇 結 果 生 成 績 布 , 正 規 布 従 う 限 い , 目 標 規 準 準 拠 考 え う あ e.g., 梶 ,

2006 。正規 布 逸脱 中心傾向 均値 ,適 代表値 い

え い。 う 場合, 回帰 い 析 う ,効果 い ,

集団 対 処遇 結果 解釈 方法 , 頑健 あ いえ 。

6.

総括

本稿 , ,集団 対 処遇 結果 解釈 効果 , a 外国語教育 実務的 観 い 解釈 困 , b 中心傾向 あ わ ,

来 問題 抱え 指摘 , 解決策 い 定 的

方法 い 紹介 。 , a い ,効果偏差値 優越率 , 標準化 均差 解釈指標 入 有用性 。 , b い ,比較

, 回帰 い 析法 案 。 ,外国語教育 教育実践 ,実務家 心 中心傾向 い , え 強調 。

,中 心 傾 向 わ い 処 遇 結果 解 釈 , 中 心傾 向

均値や標準化 均差 吟味 要 い, いう 意味

い。 ,中心傾向 注目 従来 研究報告や 析 , 築 あ 知見 疑う う い。学問 発展 願わ い 少 い う , 教育実践 他者 共有 ,教育研究 本質 あ , 析 い , 中心傾向 吟味 主翼 担う 当然 あ 。

, 効果 析 入 , 外国 語 教 育 ,

(35)

80

い 声 聞 え あ 。繰 返 書い い う ,統計的有意性 得 い 効果 報告 意味 ,大概 場合, 純 ,現在 標本 適 い, いう あ ,統計的 意味 効果 ,処遇 効果 ,効果 大 知見 要性 普通, 立 い え あ 。

外 国 語 教 育 い ,効 果 現在 , 研 究 公 表 い う 文 脈 , ッ え 多い う あ 。確 ,学術的 観 い ,効果 要性

疑い う い ,学会 い いう面 あ 。 ,外国語教

育, , 研究 あ ,本質的 効果 得 知見 対象

わ い。

, 大 い効 果 観測 , 嬉 々 報 告 教 育実践 , 対象 教室 ,処遇 相性 ,成績 伸 何人 い

い。 , 逆 ,効果 ,共有 場 得

,あ 教育実践 ,大 数 伸 数人 い い。

教育 研究 , う 大 心 い。 う 処遇

あ ,議論 的 い。 ,効果 視 , いう ,

効果 依 , ,中心傾向 依 あ , ,

え う 教育従 者 普通 考え 妨 あ , ,慎 考え い あ う。

残 念 , 本 稿 目的 , う 状 況 解 決 い 。 , 著 者 案 い 方法 利用 ,外国語教育 係者 強

い。比較 や 回帰 い 析 , 一例 い あ 。 , う 解釈 試 や,中心傾向 わ い 析 ,効果 いう ,

外国語教育 ,効果 ,わ 析 あ う

, い 考え 材料 考え 。

定 的 方 法 い , 手法 制 約 , 人 間 自 然 , 現実的 意思決定 あ 遠 い ,情報 過剰 集約 ,中心

傾向 注目 い。 ,定 的方法 本質 い。定 的

方法 ,効果 い 方法 あ 。効果 要 ,

効果 え い 気 配 い。本稿 , う 考え 足 い。

1. え ,各群 標準偏差 い 標準化 均差 Cohen’s d

⊿ 場合 う 実験群 散布度 保持 い ,本稿 案 比較 直

接的 方法 い。 , 標準偏差 ,実験

(36)

81

昇 。 ,⊿ 異 性質 あ ,NEGD 場合 d い 利 え 。

2. 優越率 ,等 散性 仮定 要求 。 , 口 1989 , う

等 散性 保証 明 あ 指摘 い 。

3. ,便宜的 標準偏差 母集団 標準偏差 計算 い 。 偏標準偏差

推定値 い う 望 い , 計算 差異 い。

参考文献

Chen, F., & Chalhoub-Deville, M. (2014). Principles of quantile regression and an application.

Language Testing, 31, 63–87.

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum.

Cohen, J. (1994). The earth is round (p < .05). American Psychologist, 49, 997–1003.

Erdfelder, E., Faul, F., & Buchner, A. (1996), GPOWER: A general power analysis program.

Behavior Research Methods, Instruments, and Computers, 28, 1–11.

Frick, R. W. (1999). Defending the status quo. Theory & Psychology, 9, 183–189.

風原朝和 (2002). 心理統計学 基礎―統合的理解 有斐 .

風原朝和 (2014). 続 心理統計学 基礎―統合的理解 広 深 有斐 .

風原朝和 芝祐 (1987). 相 係数 均値差 解釈 確率的 指標 教

育心理学研究 35, 259–265.

Hao, L. & Naiman, D. Q. (2007). Quantile regression. Newbury Park, CA: Sage Publications.

石黒格 (2013). 社会心理学 対 回帰 析 適用 : ッ ワ

例 社会心理学研究 29, 11–20.

伊藤武彦 (1998). 実践的 探索的研究 効果測定 効果偏差値 案 和

大学人間 係学部紀要 3, 15–23.

梶 叡一 (2006). 教育評価入門―学 育 確 ― 共 出 .

Kline, R. B. (2004). Beyond significance testing: Reforming data analysis methods in behavioral

research. Washington, DC: American Psychological Association.

Koenker, R. (2005). Quantile regression. Cambridge: Cambridge University Press.

Koenker, R. (2015). quantreg: Quantile Regression. R package, version 5.11. http://CRAN.R-project.org/package=quantreg

草薙邦広 (2014a). 外国語教育研究 直交表 用い 実験計画―実験計画 効率化 求

― 外国語教育 学会 LET 西支部 ソ 研究部会報告論集

4, 24–33.

草薙邦広 (2014b). 外国語教育研究 ッ 法 応用可能性 外国語

(37)

82

Larson-Hall, J. (2012). Our statistical intuitions may be misleading us: Why we need robust statistics. Language Teaching, 45, 460–474.

Larson-Hall, J., & Herrington, R. (2010). Examining the difference that robust statistics can make to studies in language acquisition. Applied Linguistics, 31, 368–390.

前 啓 朗 (2008). WBT 援 用 授 業 成 学 習 者 成 学 習 者

ARELE, 19, 253–262.

McGraw, K. O., & Wong, S. P. (1992). A common language effect size statistic. Psychological

Bulletin, 111,361–365.

水本篤 竹 理 (2008). 研究論文 効果 報告 ―基礎的概念 注意

― 西英語教育学会紀要英語教育研究 31, 57–66.

水 本 篤 竹 理 (2011). 効 果 検 定 力 析 入 門 ― 統 計 的 検 定 正 使 う ― 外国語教育 学会 LET 西支部 ソ 研究部会 2010 度報告論 集 47–73.

永 靖 (2003). ン 決 方 統計 朝倉書店.

Norris, J. M., & Ortega, L. (Eds.). (2006). Synthesizing research on language learning and teaching. Philadelphia: John Benjamins.

口 裕 之 (1989). 教 育 心 理 学 測 定 評 価 研 究 動 向 教 育 心 理 学 報 28, 115–124.

荻 忠則 (1983). 教育評価 統計法―心 技術 再統合― 日本文化科学社.

Olejnik, S., & Algina, J. (2000). Measures of effect size for comparative studies: Applications, interpretations, and limitations. Contemporary Educational Psychology, 25, 241–286.

大久保街亜 (2009). 日本 統計改革―基礎心理学研究 資料 ― 基礎心理 学研究 28, 88–93.

大久保街亜 岡 謙介 (2012). 伝え 心理統計―効果 信 区間 検定力― 勁草書房.

Plonsky, L,. & Oswald, F. L. (2014). How big is “big”? Interpreting effect sizes in L2 research.

Language Learning, 64, 878–912.

R Core Team (2014). R: A language and environment for statistical computing. R Foundation for

Statistical Computing. Vienna: Austria. http://www.R-project.org/.

豊 樹 (2009). 検定力 析入門―R 学 最新 解析― 東京図書.

Venables, W. N. & Ripley, B. D. (2002). Modern applied statistics with S. 4th Edition. Springer, New York.

亘理陽一 (2014). 析 手続 い 大 全 効果 教え

(38)

83

付録

付録1:Rにおける下限比較点の計算例

cpoint<-function(nc,ne,mc,me,sdc,sde,pi=.975,plot=T){

x<-seq(-8,8,.01)

mdif<-me-mc

delta<-mdif/sdc

f<-sde/sdc

cpz<-delta-(qt(pi,ne-1)*f*sqrt(1+(1/ne)))

cp<-1-pnorm(cpz)

cprank<-floor(cp*nc)

if(cprank==0){

cprank<-1}

else{

}

if(plot==T){

plot(x,dnorm(x),xlab="Standardized

Score",ylab="p",type="l",ylim=c(0,2))

lines(x,dnorm(x,delta,f),col=4)

abline(v=c(delta,cpz),col=4,lty=2)

}else{

}

list("Mean

Difference"=round(mdif,2),"Delta"=round(delta,2),"F"=round(f,2),"Comparison

score"=round(c(cpz,cpz*10+50),3), "Comparison

Percentile"=round(cp,2)*100,"Comparison Rank"=cprank)

(39)

84

付録2:⊿,√T,および共分散がτ = .05の分位点回帰直線にあたえる影響

パラミター設定表

⊿ √T r

(a) 0.00 1.00 .50

(b) 2.00 1.00 .50

(c) 4.00 1.00 .50

(d) 0.00 4.00 .10

(e) 0.00 1.00 .10

(f) 0.00 0.25 .10

(g) 0.00 1.00 .00

(h) 0.00 1.00 .50

(i) 0.00 1.00 . 90

-5 0 5

-5 0 5 (a) Pre P o s t

-5 0 5

-5 0 5 (b) Pre P o s t

-5 0 5

-5 0 5 (c) Pre P o s t

-5 0 5

-5 0 5 (d) Pre P o s t

-5 0 5

-5 0 5 (e) Pre P o s t

-5 0 5

-5 0 5 (f) Pre P o s t

-5 0 5

-5 0 5 (g) Pre P o s t

-5 0 5

-5 0 5 (h) Pre P o s t

-5 0 5

Updating...

参照

Updating...

関連した話題 :