2010/2/5-7, 筑波大学

1 1 神戸学院大学グローバル・コミュニケーション学部学 術講演会招待講演. 神戸学院大学にて 2月20日（火）13:00-15:00

英語テストの作り方と検証方法

小泉 利恵 (Rie KOIZUMI)

順天堂大学 [email protected] 一部資料Webに掲載 http://www7b.biglobe.ne.jp/~koizumi/Koiz umiHP.html

Overview

• 1. はじめに

• 2. 英語テストの作り方

• 3. 英語テストの検証方法

• 4. まとめ

2

2

1. はじめに

• 英語教員にとって、授業での小テストや

定期テスト、また入学試験としてのテスト

を作る機会は多い。

• しかし、テストの作り方やそれが適切に

作れたかを調べる方法については、あ

まり知られていない。

• 英語テストへの関心の高まり • 教室内テスト、大学入試でのテスト 3

テスト作成で参考になる本

• 神奈川県立国際言語文化アカデミア（2015） 『高等学校英語教員のための定期テスト作成 簡易マニュアル』 – 聞くこと、語彙、文法、読むこと、書くこと の作り 方と具体例 • 上山（2014） • 根岸（2017） • 笠原・佐藤（2017） • 正頭（2017） 4

3

教員養成・研修での必須の知識

• 中・高等学校教員養成課程 外国語 (英語) コ ア・カリキュラム (東京学芸大学, 2017) • 「学習評価の基礎」 • 中・高等学校教員研修 外国語 (英語) コア・ カリキュラム • 「評価に関する専門的知識」を身につけること が目標 • 小テストや定期テストなどを自分で作成 • 既存のテストを適切に選び、結果を有効に活 用も求められる

既存のテストを適切に選び、結果を

有効に活用

• 中・高等学校教員研修 外国語 (英語) コア・ カリキュラム • 「英語の外部資格・検定試験 (4技能型) を活 用した英語力の自己モニター」 • 教員自身が、民間試験を受けて自分自身の 英語力の伸びをたどる。自身の英語力向上 のために、適切なテストを選び、そのテスト結 果を有効活用することが必要。 • 入試関係者も、説明責任を果たすために、英 語4技能テストを適切に選ぶことが必要

4

大学入試改革

• 高校学習指導要領改訂（2022年から） – 主体的・対話的で深い学び（アクティブ・ラ ーニング）の導入。思考力の育成重視 • 思考力・判断力・表現力を育成し、入試で測 る方向。大学入試全般で変革が求められて いる • 大学入試センター試験→大学入試共通テスト （2020年から） – 選択式に加えて記述式の導入（国語・数学） – 選択式に多様な解答形式導入（全教科）

共通テストにおける英語テスト

• 民間資格・検定試験（民間試験）の4技能 （RLWS）テスト活用 • 2020～2023年 • パターンA：共通テストRL • パターンB：共通テストRL＋民間試験WS – 国立大学。私大にもこのパターンを取るよ うに呼びかけあり（加点20点か出願資格） • パターンC：民間試験RLWS • 2024年～ パターンC：民間試験RLWS

5

私大での検討事項

• 一般入試での英語をどうするか（4技能（民間 試験 or 独自開発）、現状のまま、若干修正 ？） • 共通テストで民間試験を活用するか（するか しないか、するならどう活用するか） • 特に、民間試験を複数使う場合、CEFRの6 レベルしかなく、日本人英語学習者のレベル は2レベルほどに固まる。詳細な識別ができ ない。どう活用するか

テストについて知る

• 教室内テストの作成は避けて通れない • 大学入試では、テストを選ぶことになる – 英語4技能化には賛否両論あり、活発な議論が なされている • テストの作り方・作られ方・検証方法を知る必 要がある • テストへの誤解を解消する • 言語評価についてのリテラシー(language assessment literacy) が必要 ₁₀

6

言語テストへのよくある誤解

(小泉, in

pressより。Bachman & Palmer, 2010に基づく)

• 誤認識1：言語テストへ過度な期待をする • 誤認識2：言語テストの専門家へ過度な依存 をする • 誤認識3：言語テストを１つの質の良し悪しだ けで判断する • それに対する対策 11

言語テストが持つべき性質

• 妥当性：テスト作成者がテストで測りたいと思 う力が測れて、使用目的に合っていること • 信頼性：テストを受けた状況や採点者、質問 に関わらず、テスト結果が一致していること • 実現可能性：コストや労力の面などで、テスト が行いやすいこと • このうちのどれか1つだけの質で判断すると、 バランスが崩れてしまうこともある 12

7

2. テストの作り方

• テスト作成の手順 • １）テストの設計図（細目）を作る – 指導前に作るのが理想 • 細目の中身 • A）テスト目的・測りたい能力 – 授業目標・内容と一貫させる • B）対象者、テスト範囲、テストの構成 13

テスト作成の手順

• １）テストの設計図（細目）を作る • C）タスク形式、実例 – 多様な形式を使うようにうる – RLでは、多肢選択式、真偽判定、組み合 わせ、並び替え、空所補充、情報転移、短 文解答 – SWでは、制限産出型タスク形式と、自由 産出型タスク形式 14

8 • 小泉他, 2017 SWの形式 • 制限 • 強 ①音読 (reading aloud) • ②文復唱 (sentence repetition) • 中 ③フレーズへの反応 (reacting to phrases) • ④提示した文を操作して会話 • ⑤反論 • ⑥内容判断を伴う模倣 (elicited imitation) • ⑦事実に関する短い質問 • 弱 ⑧話す内容を日本語で提示して英語で話す • ⑨絵の描写

• なし ⑩スピーチ，プレゼンテーション（Show & Tell等） • ⑪インタビュー • ⑫ロールプレイ • ⑬ディベート，ディスカッション 15

スピーキングテスト形式の変遷

16 同じ場所 → 別な場所 直接形式 → 半直接形式（録音後で採点） 面接型 → 学習者対話側 テクノロジーの利用

9

スピーキングテストの望ましい手順

（Brown & Abeywickrama, 2010)

• １）最初に簡単な質問 (warm-up) • ２）受験者のレベルに合った質問 (level-check) • ３）受験者の能力の上限を確かめるために、難 しめの質問 (プローブ、突き上げ、probe) • ４）受験者が楽に答えられる質問で終える (ワ インドダウン、wind-down) • 受験者が話しやすくなり、実力を最大限に発揮 できるようにwarm-upを入れ、最後に受験者が ある程度話せたと充実した気持ちで終えられる ように、wind-downを入れる 17

RL向け 多肢選択式の長所と短所

(小泉他, pp. 99-100）

• 長所 • 1. 採点が容易 • 2. 高い信頼性が期待 できる • など他3つ 18 • 短所 • 1. 受容的能力のみ測定可 能 • 2. 当て推量の影響あり • など他4つ

10

多肢選択式問題の作成ガイドライン

(小泉他, pp. 99-100) • 20項目の中で、特に重要な4項目 • 3. ひっかけ問題を避ける。 • 6. 正答が一つに決まるようにする。立場によ って，正誤が変わるような問題を避ける。 • 7. 問われている内容が明確に分かるように する。選択肢から推測しなくても済むようにす る。 • 9. 正確な分かりやすい表現とし，不必要な 専門用語や難解な語句は用いない。文法や 句読点等，正確な表現を用いる。 19

テスト作成の手順

• １）テストの設計図（細目）を作る • D）実施・採点方法 等 – 採点形式：総合的か分析的か – 評価基準（ルーブリック）：タスク達成度の みか、流暢さ、やり取りの自然さ等を加え るか – 判定基準：何段階にするか • ２）テスト細目に沿ってテストを作る。解いて改 良する 20

11

テスト作成の手順

• ３）実施・採点する – SWの場合には、ここに時間をかける – 実施者・採点者に対する事前打ち合わせ – 採点中の適度な休憩 – 採点後の再採点と採点の振り返り – 2名の採点者が別々に採点（double rating; 一部 可） • ４）テスト結果を生徒にフィードバック・授業等 改善する 21

教室内スピーキングテストの例

授業目標：コミュニケーション能力

(Celce-Murcia, 2007) の対話能力の育成

• 言語能力 (文法・語彙・発音等) • 談話能力 (2文以上を理解・産出) • 方略能力 (問題を解決、計画・評価) • 社会文化的能力 (状況に合わせた表現使用) • 定型表現に関する能力

• 対話能力 (やり取りの中で言語でどう伝

えるか。例：会話を開始・終了する、相手

と協力して会話を発展させる、説得する)

22

12

対話能力の現状：日本語で

• 意見が違った時の対応 (2016年)

• 「なるべくことを荒立てないで収めたい」

61.7% (増加傾向)、「納得がいくまで議論

したい」24.9%

(国語に関する世論調査、2017年 9月22日読売新聞第13面)

• 分担を決めた後に、別な人が担当と異な

る分野を調べたとき、注意を促す (正解：

13.7%) より、褒める回答が多い (平均

17.5%)

(PISA・協同問題解決能力調査、15歳対象 、2015年) 23

対話能力の現状：英語で

(Koizumi, In’nami, & Fukazawa, 2017)

• 日本人大学生に向けたペア型対話テスト

(11個タスク。ロールプレイ・議論)

• テストで使った機能を分析

– 反対する15% 説得する10% – 会話を修復する19% – 相手の発言に関連して述べる17%

• グループ活動をしていると対話 (実質的

な意見交換) が起こるように思えるが、そ

うでもない。意識的な指導・評価が必要

₂₄

13 25

ペア型会話タスク

生徒を2名ずつ別室で実施。同時採点 期末テスト 課題：①今まで扱った会 話トピックすべての中から 1つ、②応用問題（初見） http://freeillustration.net/women-talk-d-01/ http://01.gatag.net/tag/%E9%9B%86%E5%9B%A3%E F%BC%88%E3%82%B0%E3%83%AB%E3%83%BC %E3%83%97%EF%BC%89/page/2/

課題 (『ガイド, p. 124』

• 旅行に行くものを4つ決める 26

14

評価基準（学生に事前提示）

27

学習者対話型テスト

(Ockey & Li, 2015)

• 対話能力をより測れる形式。統制が

ゆるいために、対等な力関係での会

話が引き出せる

• 一方で、他の受験者の性格などの

要因の影響を受けやすい

28

15

学生の自己・相互評価

• 評価観点を意識して対話をし、振り返ってい ることがわかるコメントがあった • やりとりの自然さで、相手の意見に基づいて 自分の意見を言うことができなかった – [交互に適切に話しながらやり取りをしている。相手が言っ たことに基づいて、応答している] • 自分の意見は言えるが、相手の意見を理解 した上で譲歩とかコメントを言うのは難しい • (相手に対し) 私が言ったことをしっかり聞い て応答しているが、時々話がかみ合わない 29

「テストの検証方法」

言語テストが持つべき性質

• 妥当性：テスト作成者がテストで測りたいと思 う力が測れて、使用目的に合っていること • 信頼性：テストを受けた状況や採点者、質問 に関わらず、テスト結果が一致していること • 実現可能性：コストや労力の面などで、テスト が行いやすいこと 30

16

妥当性の捉え方の変遷

(Messick, 1989)

• 妥当性は１つ

• その中に複数の要素がある

• 必要な要素を調べて、その証拠を示す

31

妥当性の要素

• 1. 【内容的要素】 • 2. 【実質的要素】 • 3. 【構造的要素】 • 4. 【一般化可能性的要素】 • 5. 【外的要素】 • 6. 【結果的要素】 32

17

論証に基づく妥当性検証

(Kane, 2006)

• 必要な証拠提示を、段階を踏んで妥当性を 主張する

• Knoch & Chapelle (in press) の論証構造 (Toulmin, 2003に基づく) • 観測→観測得点→ 期待得点→ 構成概念→ 目標得点→ 意思決定とスコア報告→ プラス の波及効果 • 証拠を提示して、それぞれの推論（→の部分 ）をつなげていく 33

一般化推論における証拠提示例

• 前提：③採点プロセスにおいて、テスト状況ま たは採点の実施条件等のために、スコアに 構成概念とは無関係な要因の影響が入り込 んでいない • 方法：採点プロセス・条件の定期的な観察 • 研究例：TOEFL iBT Sの採点と疲労の関係

(Ling, Mollaun, & Xi, 2014）

18

説明推論における証拠提示例

• 前提：①検証対象のテストスコアは、構成概 念に無関係の要素に大きく影響されない • 方法：相関分析、共分散分析 • 研究例：TOEFL iBT Wのタイピング力の影 響 (Barkaoui, 2014） 35

決定・波及効果

推論における証拠提示例 • 決定推論の前提：②スコアレポートのレイアウ トはスコア報告に適している 専門家判断 • 波及効果推論の前提：①テスト使用者は、スコ アレポートと関連するフィードバックを解釈でき る 教員・生徒へのインタビュー

• 研究例：GTEC for STUDENTSと英検のスコ

アレポート検証 (Sawaki & Koizumi, 2017）

19

TSSTの妥当性検証例

• 観測→観測得点→ 期待得点→ 構成概念→ 目標得点→ 意思決定とスコア報告→ プラス の波及効果 • （小泉・アルク教育総合研究所, 2017） 37

4. まとめ

• テスト作成：テスト細目を作って、形式・採点 基準を検討 • テスト検証方法：様々な要素があり、それぞ れの場合に応じて、必要な証拠を出して、以 下のような形で主張する – 「○○のスコアは、△△能力の構成概念と、目標 言語使用領域での言語使用を反映し、使用目的 に適し、英語指導・学習に有用である」 • 自分のテストを検証、改善 • 既存のテストに対して、証拠を求めていく 38

20

さらにご興味のある方へ

• 小泉利恵 (2018, 4月8日予定). 『英語4

技能テストの選び方と使い方

―妥当性

の観点から

―』 東京：アルク

• 第1章：テスト選択・使用の悩みと誤解

• 第2章：妥当性理論と妥当性検証

• 第3章：4技能テストの妥当性検証

• 第4章：テストを適切に選び、使う方法

39

引用文献

• Bachman, L., & Palmer, A. (2010). Language

assessment in practice. Oxford University Press.

• Barkaoui, K. (2014). Examining the impact of L2

proficiency and keyboarding skills on scores on TOEFL-iBT writing tasks. Language Testing, 31, 241–259. doi:10.1177/0265532213509810

• Brown, H. D., & Abeywickrama, P. (2010). Language

assessment: Principles and classroom practices (2nd

ed.) White Plains, NY: Pearson.

• Celce-Murcia, M. (2007). Rethinking the role of

communicative competence in language teaching. In E. Alcón Soler & M. P. Safont Jordà (Eds.), Intercultural

language use and language learning (pp. 41-57).

Heidelberg, Germany: Springer Netherlands.

21

引用文献

• Kane, M. T. (2006). Validation. In R. L. Brennan (Ed.),

Educational measurement (4th _{ed., pp. 17–64). Westport,}

CT: American Council on Education and Praeger. • 上山晋平 (編著) (2014). 『英語テストづくり＆指導 完全ガイ ドブック』 明治図書 • 神奈川県立国際言語文化アカデミア (2015). 『高等学校英語 教員のための定期テスト作成簡易マニュアル』 Retrieved from www.pref.kanagawa.jp/uploaded/attachment/789937.pdf • 笠原究・佐藤臨太郎 (2017). 『英語テスト作成入門：効果的な テストで授業を変える!』 金星堂

• Knoch, U., & Chapelle, C. A. (in press). Validation of rating processes within an argument-based framework.

Language Testing. doi:10.1177/0265532217710049 ₄₁

引用文献

• 小泉利恵 (2018予定). 『英語4技能テストの選び方と使い方 ―妥当性の観点から―』 東京：アルク

• 小泉利恵・アルク教育総合研究所 (2017). 『Telephone Standard Speaking Test (TSST) の妥当性検証』(アルク英 語教育実態レポート, Vol. 10) アルク教育総合研究所 以下 から閲覧可能：https://www.alc.co.jp/company/report/

• 小泉利恵・印南洋・深澤真 (編) (2017). 『実例でわかる英語 テスト作成ガイド』 大修館書店

• Koizumi, R., In’nami, Y., & Fukazawa, M. (2017, June).

Examining the construct of paired oral tasks through analysis of elicited speech functions. Presented at the

4th International Conference of the Asian Association for Language Assessment (AALA), National Taiwan

University, Taipei, Taiwan.

22

• Ling, G., Mollaun, P., & Xi, X. (2014). A study on the impact of fatigue on human raters when scoring speaking responses. Language Testing, 31, 479–499.

doi:10.1177/0265532214530699

• McNamara, T. F. (1996). Measuring second language

performance. Essex, U.K.: Addison Wesley Longman

Limited.

• Messick, S. (1989). Validity. In R. L. Linn (Ed.).

Educational Measurement (3rd ed., pp. 13–103). New

York, NY: National Council on Measurement in Education/American Council on Education.

• 根岸雅史 (2017). 『テストが導く英語教育改革「無責任なテスト 」への処方箋』三省堂

• Ockey, G. J. (2017). Approaches and challenges to assessing oral communication on Japanese entrance exams. JLTA Journal, 20, 3–14. doi:10.20622/jltajournal.20.0_3

Retrieved from https://www.jstage.jst.go.jp/article/jltajournal/20/0/20_3/_article/-char/en 43

• Ockey, G., & Li, Z. (2015). New and not so new methods for assessing oral communication. Language Value, 7, 1–21. doi:10.6035/LanguageV.2015.7.2 Retrieved from http://lib.dr.iastate.edu/engl_pubs/74/

• Sawaki, Y., & Koizumi, R. (2017). Providing test performance feedback that bridges assessment and instruction: The case of two standardized English language tests in Japan. Language Assessment

Quarterly, 14, 234–256. doi:10.1080/15434303.2017.1348504 • 正頭英和 (2017). 『英語テストづくり＆指導アイデアBOOK』 明治図書 • 東京学芸大学 (2017). 「文部科学省委託事業『英語教員の 英語力・指導力強化のための調査研究事業』平成28年度報 告書」 以下から閲覧可能： http://www.u-gakugei.ac.jp/~estudy/report/ 44