Microsoft PowerPoint - JOPTシンポジウム2016 ver.2.pptx

CEFR‐J に基づく英語口頭能力

テスト開発の必要性と可能性

東京外国語大学

根岸雅史

CEFR‐levels

A1: Breakthrough beginner A2: Waystage elementary

A

B1: Threshold Intermediate B2: Vantage Upper‐intermediate

B

C1: Effective operational Advanced C2: Mastery Proficiency

C

CEFR‐J のレベル設定：１２段階

A1 A2 B1 B2 C1 C2

80% の日本人は A‐level に属する

A1.1 A1.2 A1.3 Pre‐

A1 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2

The CEFR‐J Project: Phase 2 (2012‐2015)

CEFR-J Ver.1 CEFR-J Ver.1 CEFR-J Wordlist ELP Descriptor DB

CEFR-J Grammar Profile CEFR-J Grammar Profile

CEFR-J Text Profile CEFR-J Text Profile

CEFR-J Error Profile CEFR-J Error Profile

ELT coursebook corpus Japanese EFL Learner corpus Corpus‐based approach Machine learning

ELT coursebooks Corpus analysis Text characteristics Feature extraction

The process of the CEFR‐J RLDs

ELT coursebooks Corpus analysis Grammar items Feature extraction A1 A2 B2 A1 A2 B1 B2 B1

Grammar Profile

Text Profile

Tono; Ishii Hayashi & Okumura Arase

Spoken learner corpus Corpus analysis Grammar items Feature extraction

The process of the CEFR‐J RLDs

Written learner corpus Corpus analysis Common errors Feature extraction A1 A2 B2 B1

Error Profile

Learner Speech Profile

Tono Hayashi & Okumura _{Brendan, Izumi, Kaneko} & Hirokawa

A1

A2

B2 B1

Possible applications

CEFR‐J

FL policy 

making

Test 

design

Materials 

design

Syllabus 

design

7

CEFR‐Jプロジェクト

• CEFR‐Jプロジェクトの成果

• 「産出モード（スピーキング・ライティング）」における • 日本人英語学習者の発達段階に応じた「文法・語彙などの基準特性」 • 「受容モード（リスニング・リーディング）」における • 「テキストの基準特性」

• 新規プロジェクト

• 基準特性を基にした、CEFR‐Jベースの指導タスクと評価テストの開発 • 実証データをとることで、指導タスクと評価テストの妥当性を検証 • 指導タスクと評価テストのアイテム・バンクを構築・公開

CEFR‐J新規プロジェクト

• 指導タスク＋評価テストの開発

• 学際的なチーム

• 言語教育学 • 言語テスト • コーパス言語学 • 自然言語処理 • 音声認識 9

CEFR‐J新規プロジェクト

• 教材作成：コーパス言語学や言語処理の専門家により導き出された

言語資源を言語教育学の専門家が教材として具現化

• 言語テスト開発：先の言語資源をもとに、

• 言語教育学と言語テストの専門家が共同してテスト項目を作成 • そのテスト・データをテスト統計の専門家が分析 • こうして開発されたテストは、音声認識の専門家の力を借りることで、スピー キング・テストの自動採点までを実現

• 本研究により、４技能型の大学入試システムの開発に貢献

CEFR‐J新規プロジェクト研究計画

H29 H30 H31 ③ 言 語 処 理 ・ イ ン タ フ ェ ー ス 班 指導タスクの プロトタイプ完成 協力校での実施 フィードバック 指導タスクに対応す る評価テストの開発 紙ベース＆ICT 環境などの複数インタフェースの提案と試作 音声認識・ライティングの自動判定技術の応用可能性を検討 指導タスク& 評価テスト改訂 指導タスク＆ 評価テスト アイテム・バンク （一般公開） ＋ CEFR-J レベル 自動判定ツール ① 受容技能班 ② 発表技能班 の作業を ④ 言語資源構築班 がサポート 11

英語の入試はどうなる？

• センター試験の後継＋個別入試

• 英語4技能試験 情報サイト

http://4skills.eiken.or.jp/education/innovation.html

• 外部試験の利用

• ４技能の測定

• ４技能のバランス

【参考】各試験団体のデータによるCEFRとの

対照表

平成２６ 年度

英語教育改善のための英語力調査事業報告書

• 全国の

無作為抽出

_{による高等学校第3学年約}

_7万人

_{（約480校）を対}

象に、英語に関する

_4技能

（読むこと、聞くこと、書くこと、話すこと）が

バランスよく育成されているかという観点から本調査を実施し、生徒

の英語力や英語の学習状況の把握・分析を通じて、学校における生

徒への指導の充実や学習状況の改善に活用する。

• なお、本調査は、高校生の英語教育の多様性を踏まえ、世界標準

に基づいて日本の高校生全体の英語力を測定するため、

_CEFR

（Common European Framework of Reference for Languages：ヨーロッ

パ言語共通参照枠）を参照して測定することとした。

• A1～B2

平成26, 27年度英語力調査（高等学校）

平成27年度英語力調査（中学校）

【参考】各試験団体のデータによるCEFRとの

対照表

見えてきた：

大学入学希望者学力評価テスト（仮称）の「英語」の問題イメージ

• 独自開発?

• 「聞くこと」「読むこと」「書くこと」の三技能及び技能統合型合計で110

分程度、別に

_{「話すこと」10分程度}

のテスト構成・時間を想定

• CEFRの

A1上位層からB1層を中心

として測定が可能であり、CEFRに

おけるレベルとの関連づけをすること

• 等化（IRTを含む。）

大規模テストにおけるスピーキング・テスト

• チャレンジ：

• 50万人の受験者

• 同日受験

• 50万人の受験者の採点

• 短い採点期間

• “… we cannot afford not to introduce a test with a powerful 

beneficial backwash effect. (Hughes, 2002)”

Potential solutions

‐scoring‐

• By machine

“Advances in automated speech recognition and computational linguistics have  now made it possible for machines to score written and even spoken  performance, especially when responses are more guided or controlled (Xi,  2012) .... The prospect is for more flexible automated scoring systems to  emerge: systems that are capable of rating language elicited through different  prompts without having to be trained for each individual task.” ‐Green (2014) 21 Is it available in  2020/2024?

CEFR‐J新規プロジェクト

• スピーキングやライティングの評価テスト

• テストの機械配信

• 音声認識をもとにした自動採点

• 従来人間がやってきた採点も学習者の発達段階ごとの基準

特性を利用して、個別の指導タスクに依存しない自動採点を

実現する。

CEFR‐J新規プロジェクト

CEFR‐J Can‐Doディ スクリプタからの テスト・タスク作成 テストの機械配 信・音声データの 機械収集 音声認識 自動採点 23

課題と

可能性

課題 可能性 タスクの限定性 一斉実施が可能なので、多様なタスク の実施が可能 「やりとり」の限定性 パソコンに向かって話す違和感 試験官ロボット? 音声認識の精度 _{認識可能な英語音声かどうかが最低} 基準になる? 同時解答の問題 _{ノイズ・キャンセリング?} 採点の信頼性 _{人間とほぼ同程度（0.8程度を実現）} 採点の妥当性 採点のプロセスの説明可能性が高い ただし、学習者・教師が解釈可能か?

人による実施に対するメリット

観点 メリット コスト ランニング・コストが安い 試験官・採点官のトレーニング 不要 採点のモニタリング 不要 採点期間 結果の即時性 パフォーマンスの安定性 _{多様なタスクにより、パフォーマンスは} 安定 25

テストのインパクト

• “The research into washback suggests that teachers tend to pay close attention to  the format of a test, rather than considering the underlying construct –the  knowledge, skills or abilities targeted by the assessment. Just focussing on  practice with the test format might not really help test takers to improve in the  abilities being assessed (Green, 2007). A new spoken interview assessment based  on personal information intended to assess impromptu conversation skills might,  in practice, encourage memorisation of formulaic exchanges or short memorised  speeches on obscure topics, even though these may be of rather limited value  outside (or even inside) the examination room (Shohamy et al ., 1996).” ‐Green. (2014) • 教師や受験者に根底にあるテストの構成概念とその指導法を正しく伝える必 要性