CEFR に準拠した TUFS 言語フレームワーク構築の試み

(1)

東京外国語大学論集第82号（2011） 141

CEFR に準拠した TUFS 言語フレームワーク構築の試み

長沼君主工藤洋路吉冨朝子

はじめに

1. 英語アカデミックCan-Do調査：研究Ⅰ（2008-2009年度入学生）

1.1 英語アカデミックCan-Do尺度

1.2 英語アカデミックCan-Do調査：能力指標発達分析 2. 英語アカデミックCan-Do調査：研究Ⅱ（2011年度入学生）

2.1 英語アカデミックCan-Do調査：レベル閾値識別分析 2.2 英語アカデミックCan-Do尺度下位項目困難度分析

2.3. TUFS言語フレームワークの構築と展望おわりに

資料「英語アカデミックCan-Do尺度CEFRレベル閾値一覧」

「英語アカデミックCan-Do尺度CEFR-J対応表」

はじめに

2008 年度に設立された東京外国語大学英語学習支援センター(TUFS English Learning

Center)」では、個々の目標に応じた全学学生の英語力最適化を目指し、「英語自律学習支援プ

ログラム・評価システム」の開発・運用を行っている。英語自律学習支援プログラムは4つの柱を中心に構成され、＜スピーキング・コーナー＞及び＜ライティング・コーナー＞でのアウトプットの機会の提供と言語能力評価に基づくフィードバック、＜速読・多聴支援eラーニング・プログラム＞及び＜多読・多聴ライブラリー＞でのインプットの質と量の拡充と自律学習の土台としてのスキル・トレーニング支援を行い、総合的な学習サポートを行っている。

とりわけ、主専攻・副専攻英語学習者を対象としては、単位認定条件又は進級条件の一部として英語力のレベル別に一定量の自律学習課題を課しており、授業を補完する役割を果たしている。より直接的な関与としては、副専攻英語コーディネータと協同し、入学時に実施してい

るTOEIC-IPテスト結果を利用した副専攻英語A（プロダクション・スキル及びリーディング・

(2)

142 CEFRに準拠したTUFS言語フレームワーク構築の試み：長沼君主：工藤洋路：吉冨朝子

スキルの育成を目標とした科目）のクラス分けを行い、能力別クラスを実現している。また、

2010年度より授業内に短時間で実施可能な課題として、英語を用いて「何ができるか(can-do)」

を示す段階的到達基準に基づくCan-Doタスクを開発し、「談話完成タスク」と「一文要約タスク」〔長沼, 2009〕を希望クラスに提供することで、センテンス単位でのライティングを通した談話構成能力や批判的読解力の育成を行っている。

評価のためのシステムとしては、TOEIC-IPテストを、入学時、1年次末、2年次末に実施し、

リスニング及びリーディング力の発達指標として活用しており、スコア履歴とともに「ヨーロッパ共通言語参照枠(CEFR)」〔Council of Europe, 2001〕における該当レベルを明示的に示した

「TUFS 言語パスポート」を副専攻英語カリキュラム終了時の2年次末に発行している。また、

ライティング及びスピーキング能力評価についても、国外研究機関との共同研究を進めながら、

評価タスク開発及び評価者訓練を行い、言語パスポートへの記載を行っている。これらの能力評価情報は、現在開発中の「TUFS e 言語ポートフォリオ」において、ウェブ上でのアクセスが可能となる予定であり、国際社会で広く通用する基準に準拠した形での対外的な英語力の証明を行うと同時に、目標の設定と自己到達評価を行い、自らの学習を管理する自律学習支援環境の構築に資するものとなる。

CEFR を日本の大学へ適用した先行的な事例研究に取り組んだ大阪大学(旧大阪外国語大学) では、25の主専攻語のそれぞれのシラバスにおいて、個々の言語に応じてCEFRを参照した学年ごとの到達目標の記載が行われており、学生は入学時から4年間を見通した学習計画を立てるにあたり、具体的な到達度に関する参照情報をもとにロードマップを描くことができる〔真嶋, 2007〕。また、茨城大学でも、教養英語教育においてCEFRに対応した共通教材の設定が行われており〔永井・福田, 2004〕、シラバスにおいて教授・学習目標を設定するだけでなく、具体的な教材開発の指針としても用いられている。海外出版社の大学向けテキストもCEFRに準拠した教科書が増えてきており、直接または間接的にCEFRを外国語教育のためのフレームワークとして利用した実践は、小中高大から社会までの様々なレベルでの広まりを見せている〔長沼, 2006, 2009〕。

こうした実践的取り組みにより、その教育的可能性への知見がもたらされる一方で、CEFR の日本人学習者への適応可能性を探る研究も増えており〔根岸, 2006、斉田, 2008〕、日本の文脈に合わせた項目改訂の試みも行われつつある。慶應義塾大学外国語教育研究センター〔2011〕

では、イギリスのCILTで開発された児童版言語ポートフォリオをもとに、到達度を測る自己評価チェックリストの文言の改訂が行われ、小学校から大学までの広いレベルへの適応が探られている。また、小池生夫氏を研究代表とする科研基盤研究A（2004-2007年度）「第二言語習得研究を基盤とする小, 中, 高, 大の連携をはかる英語教育の先導的基礎研究」でも、日本の英

(3)

語教育の文脈に適したフレームワークの研究が行われており、レベルを細分化したCEFR-J が開発されている〔根岸, 2011〕。

しかしながら、これらは汎用的な言語フレームワークを目指したものであり、大学の教室におけるアカデミックな文脈における言語学習を主目的としたものではない。そこで、本研究ではこのような背景のもと、より大学英語教育の文脈に適した言語フレームワークの開発への示唆を得ることを目的とし、「英語アカデミックCan-Do 尺度」(長沼・宮嶋, 2006)を用い、2008 年度から2011年度にかけて、主に英語を主専攻語または副専攻語とする学生を対象とした縦断調査研究を行った。本研究では、

1) アカデミックCan-Do尺度に基づいた自己評価の発達指標としての利用可能性 2) アカデミックな教育文脈での言語学習におけるCEFRの能力記述の補完可能性を探ることにより、CEFR に準拠しつつも本学の言語教育の文脈に最適化された、独自の言語フレームワークを開発する上での実証的根拠を得ることを目的とする。

1. 英語アカデミックCan-Do調査：研究Ⅰ（2008-2009年度入学生）

1.1 英語アカデミックCan-Do尺度

「英語アカデミックCan-Do尺度」〔長沼・宮嶋, 2006〕は、高校から大学にかけての日本の外国語教室環境における学習を念頭において開発された能力記述に基づいた尺度であり、4 技能各5項目の20項目からなっている。尺度は教室における言語活動を包括的にとらえるように設計されており、診断的に用いることが意図されている。また、能力診断調査とあわせて、ニーズ調査と経験調査も同時に行うように設計されている。能力、意欲、経験のトライアンギュレーションを図ることで、実際の経験をもとにした能力判断かどうかを知ることができ、「できるであろう(could do)」ことと「できる(can-do)」ことを区別することができる。また、意欲についても「できるけれどやりたい」のか、「できないからやりたい」のか、それとも「できないけれどやりたくない」のかといった多面的な診断を行うことができる。

回答方式は5段階のリッカート・スケールを用いて、「できる」、「ある程度できる」、「どちらとも言えない」、「あまりできない」、「できない」などのように、抽象的な自信の程度を尋ねるのではなく、英語を用いて「何ができるか(can-do)」を示した具体的な記述文による到達段階をそれぞれ4段階で示している（図1）。3段階目の到達指標が多くの学習者にとって目標となりうる能力記述であるのに対して、2段階目は何らかの補助的な足場(scaffolding)があれば到達可能な段階であり、部分的能力(partial competence)を示すものである。1段階目は補助手段や達成可能な状況を限定する付帯条件などがあっても、自信を持ってできない段階であり、1、2 段階目が「非自立的達成（または未達成）段階」、3、4段階目が「自立的達成段階」となる。4

(4)

段階目は自己実現志向の高い学習者に向けた負荷の高い段階であり、状況に左右されず、余裕を持った、柔軟な達成が仮定される。

R5 高校の教科書レベルの短いテキストを音読することができる【Can-Do】

1. モデル音声を何回か聞いても、つかえずに自然に読むのが難しい 2. モデル音声を１回聞けば、つかえずに自然に読むことができる

3. モデル音声を聞かなくても、１回黙読をすればつかえずに自然に読むことができる 4. モデル音声を聞かず、あらかじめ黙読しないでもつかえずに自然に読むことができる

今までに経験をしたことが…… 【Exp】

1. 頻繁にある 2. 少しある 3. ほとんどない機会があれば…… 【Needs】

1. 進んで学習したい 2. できれば学習したい 3. あまり興味がない

図1. 英語アカデミックCan-Do尺度サンプル【リーディング】

1.2 英語アカデミックCan-Do調査：能力指標発達分析

英語アカデミック Can-Do尺度を用いた縦断調査は、個々の学生の主観的・客観的能力発達段階をとらえることを目的として、2008年度の英語学習支援センター開設時より継続して、各年度4月の入学時と2月の1年次末、2年次末のTOEIC-IPテストとともに実施されている。

研究Ⅰでは、「アカデミックCan-Do尺度に基づいた自己評価の発達指標としての利用可能性」

を探るため、まず始めに、2009年度2月に実施された2008年度及び2009年度入学生を対象とした調査をもとに、TOEIC-IPスコアを参照して判断された各学生のCEFR レベルと、アカデ

ミックCan-Do尺度のCan-Doスコアとニーズ及び経験比率との関係を探る。分析にあたっては、

2008年度入学生の2年次末データと2009年度入学生の1年次末データを合わせて扱った。

次に、2008年度入学生の縦断データに基づき、入学時（2008年4月）の自己評価と、1年次末（2009年2月）と、2年次末（2010年2月）の自己評価結果とを比較し、アカデミックCan-Do 尺度をもとにした2年間の英語能力に対する自己効力の経年変化を4技能のそれぞれのサブスキル領域ごとに分析する。TOEIC-IPスコアによるCEFR レベル分けの基準は、英国入国基準公表資料に基づき、550未満をA2、650未満をB1、785未満をB1+、860未満をB2、860以上をC1として分析を行った。学年ごとの人数分布を表1に示す。分布は正規分布を示しており、

いずれの学年においてもすべてのレベルにまたがって学生が分布していることが確認された。

なお、分析にあたっては、アンケートに回答し、TOEIC-IP テストを受験した学習者を対象とした。また、すべて同一の回答であるなどの不適切な回答については、欠損値と同様に分析の対象からは除外した。

(5)

(6)

(7)

(8)

(9)

(10)

(11)

(12)

(13)

(14)

(15)

言語能力がどのように発達していくのか、その過程を示すことができた。スピーキングでは入学時には高いレベルの学習者でも自己評価が低く、レベル間の差が少ないのに対して、2 年間でその差が広がり、全体的に自信をつけていた。リスニングでは入学時から自己評価にレベルにより差異が見られ、2 年間でさらにその差が広がっていた。リーディングでは入学時から比較的高い自己評価をしており、レベル間の差が少なかったが、2 年間で下位レベルの学習者で自己評価が低下するなど、2年次の終わりには差が見られるようになった。ライティングでは、

下位尺度間で自己評価にあまり差が見られず、似たような傾向を示しており、レベル間の差異は2年間を通して大きな変動は見られなかった。

2. 英語アカデミックCan-Do調査：研究Ⅱ（2011 年度入学生）

2.1 英語アカデミックCan-Do調査：レベル閾値識別分析

研究ⅠにおいてCEFRのレベル算出の基準としたTOEIC-IPスコアは、リスニングとリーディングの受信技能のスコアに基づいており、全体の英語力を代表したスコアではないことから、

研究Ⅱでは、CEFR のレベル記述文を示して、現状の全体的自己評価レベルを選択させ、

TOEIC-IP スコアに基づく客観的レベルとの関係性を分析した。また、併せて、入学時の経験

調査データを研究Ⅰで示した入学後の経験調査データと比べることで、大学における経験率の変化も考察し、自信と経験の関係性を探った。調査は2011年4月に2011年度入学生を対象に行われ、参考のため、2010年度入学者の2年次開始時の調査も並行して行った。調査においては各レベルの間にプラスの段階を設け、A2+以下、B1、B1+以上の 3 つのレベルに分けて分析を行った。主観的評価では B2およびC1と自己評価を行った人数が少なかったことからB1+

にまとめて集計した。また、A2とA2+もまとめて集計した。以下に各レベルの記述を示す。

① C1レベル【高度職業人・専門家として必要な英語力】：

さまざまな種類の高度な内容の長いテキストを理解し、含意を把握し、流暢に自己表現ができる。

社会的、学問的、職業上の目的に沿って効果的な表現ができる。複雑な話題についてしっかりした構成の英文を作ることができる。その際、字句、接続表現などの用法をマスターしていることがうかがえる。

② B2レベル【社会人として仕事で必要となる英語力】：

自分の専門分野の技術的な議論を含め、抽象的、具体的な話題の複雑なテキストの主要な内容を理解できる。緊張しないで英語の母語話者と流暢にやり取りができる。かなり広い範囲の話題について、詳細な英文を作り、自己の視点を説明できる。

③ B1レベル【日常的な伝達に必要とされる英語力】：

身近な話題について、標準的な話し方であれば主要点を理解できる。英語で話す地域への旅行中に起こりそうな事態に対処できる。身近で個人的に関心がある話題について、単純な言葉で結び付けられた脈絡のある英文を作ることができる。経験、出来事、希望などを説明し、意見を短く述べ

(16)

ることができる。

④ A2レベル【必要最低限の伝達に要求される英語力】：

ごく基本的な個人的情報や家族情報、買い物、近所、仕事など、直接的関係がある領域に関する、

よく使われる文や表現が理解できる。簡単で日常的な範囲なら、身近で日常の事柄についての情報交換に応ずることができる。自分の背景や身の回りの状況や、直接的な必要性のある領域の事柄を簡単な言葉で説明できる。

※吉島他訳〔2004〕を参照。【】内は目標として定めた独自の定義。

全体能力記述に基づいた主観的CEFRレベルとTOEIC-IPスコアに基づいた客観的CEFRレベルと比較した人数分布を表2a及び表2bに示す。客観的スコアに基づくレベルと比べて、全体的に自己評価のレベルが低く、とりわけ、入学時にはほとんどの学生がA2またはB1レベルであると自己認識をしていた。主観的判断レベルと客観的レベルの間の相関は全体で.421であり、中程度の相関であった。ただし、2010年度入学生が.497と、より高い相関を示したのに対して、2011年度入学生は.373と、より低い相関であった。大学での一年間の学習を通して、より正確な自己評価ができるようになっているとともに、産出能力を含めた自己能力評価が、理解能力のみの評価と一致してきたとも言えよう。

表2a. CEFR[TOEIC-IP]レベル分布(2011年度入学生／2011年4月実施) 入学年度 A2 B1 B1+ B2 C1 合計

2011 115 162 262 76 74 689

[1st grade] (16.7%) (23.5%) (38.0%) (11.0%) (10.7%)

表2b. CEFR[全体能力記述]レベル分布(2010-11年度入学生／2011年4月実施) 入学年度 A2+以下 B1 B1+以上合計

2011 272 239 25 536

[1st grade] (50.7%) (44.6%) (4.7%)

2010 128 119 82 329

[2nd grade] (38.9%) (36.2%) (24.9%)

合計 400 358 107 865

研究Ⅱではまた、研究Ⅰのデータとの比較分析に加えて、「アカデミックな教育文脈での言語学習におけるCEFRの能力記述の補完可能性」を探るため、各CEFRのレベルにおいて自信を持ってできるようになる閾値の分析を行う。分析にあたっては、研究Ⅰにおける分析データも合わせて示す。さらには、研究Ⅰのデータを基に項目応答理論(IRT)を用いて「アカデミック

Can-Do尺度」の各下位尺度の項目困難度分析を行い、記述の難易度の相互比較も行う。その上

で、日本の文脈に合わせて開発が進められている「CEFR-J」〔根岸, 2011〕の能力記述文との比較を通して、アカデミックな言語教育の分野において特有な記述を明らかにし、記述の具体化を行うことで、TUFS言語フレームワーク構築を試みる。

(17)

(18)

(19)

(20)

図7bの経験比率を見ると、L3を除く多くの項目で80%を上回っている点は研究Ⅰのデータと同様であり、入学前に多くの経験を積んでいることが伺える。L3 の講義・説明に関しては、

研究Ⅰのデータでより高い経験率を示しており、大学でのアカデミックな教育文脈でまとまった英語を聞く経験をする学習者が増加していることがわかった。しかしながら、Can-Doスコアに示される自信の程度は必ずしも研究Ⅰのデータで高いとは言えず、経験がそのまま自信には直結しないことが示唆された。各サブスキルのグラフを資料2に、レベル閾値を表4に示す。

L1のニュース・映画に加えて、L3の講義・説明やL5の日常的情報理解で自信を持ってできるレベルが高い傾向にあることがわかる。L5は図7aの客観的レベルとの関係からもA2からB1+

までが重なっており、B2との間に大きな差が生まれていた。このことはL5の段階記述の3段階目の境に「聞きなれない内容でも」といった現実世界での日常生活経験をより要求する記述が含まれていることによるかも知れない。

表4. 英語リスニングCan-Do尺度(CDS)CEFRレベル閾値 CEFR CDS Descriptions

B2 L1 日常的な話題や関心のあるテーマのニュースや、映画などを理解できる B2－ L3 あまり専門的でない内容に関する、比較的ゆっくりとした説明を理解できる B2－ L5 日常的な生活上での英語を聞いて、必要な情報が理解できる

B1+ L4 授業中に教師が話す英語を聞いて理解できる

B1 L2 日常的な話題に関する英語を聞いて、理解することができる

3) 英語リーディングCan-Do調査（2011年度入学生）

図8aの左図に英語リーディングCan-Doスコアと主観的CEFRレベルの関係、右図に客観的 CEFR レベルとの関係を示す。二元配置分散分析の結果、いずれにおいても交互作用が有意で

あった(F^{(8, 3448)}=3.11, p=.002; F^{(16, 4664)}=3.07, p=.000)。主観的、客観的CEFRレベルともにアカデミ

ックCan-Doスコアにおける自信を反映しており、主観的B1レベルは概ね客観的B2レベルに

対応していた。リーディングでは、ほぼすべての項目でB1の主観的レベルで3段階目の前後に至っており、わずかにR4 のプレジャー・リーディングで低い程度であった。また、それに

準じてA2+以下のレベルでの自信も他技能と比べて高い傾向にあった。

(21)

(22)

(23)

(24)

2.2 英語アカデミックCan-Do尺度下位項目困難度分析 1) 2値データ分析

各技能におけるCEFRレベルとの閾値の分析から、アカデミックCan-Do尺度のサブスキル領域とCEFRレベルとの関連が明らかになってきた。そこでそれぞれの下位尺度間の関係性をより詳細に吟味するため、研究Ⅰの2008-2009年度入学生のデータを基に、項目応答理論(IRT) を用いて各下位尺度の項目困難度分析を行なった。IRTはテストデータの分析に用いられる手法であり、全体の回答傾向から、各項目の困難度と識別度の推定を行うことができる。また、

回答者の能力推定値も算出することができ、項目困難度と能力との比較を行うことが可能となる。分析にはXcalibre for Windows (ver.1.10)を用いた。

分析の対象となったのは、研究Ⅰのデータのうち、能力推定値が上限または下限を超えてしまい、推定不能となったデータを除いた808 名のデータであった。分析にあたっては、1と 2 の回答を0、3と4の回答を1と置き換え、2値データとして扱い、困難度と識別度の推定を行う2パラメータ・モデルでの項目応答分析を行った。図10に実線で示したのが各項目の困難度であり、破線で識別度を示している。ただし、解釈の容易さから、識別度については古典的テスト理論に基づく点双列相関係数を示す。識別度は概ね0.6から0.7の範囲に収まっており、信頼度の高いデータであると言える。唯一0.5を下回ったS2は最も困難度の高い項目であり、3 段階目以上と回答した学習者が 26.0%と最も低かったことが影響しているものと思われる。また、回答者の客観的CEFRレベルから、各レベルの平均的能力推定値を計算した値を図の縦軸に示した。下から A2、B1、B1+、B2、C1の平均値となり、B1+がほぼ中央の困難度のレベルとなった（表7）。

分析の結果、A2以下に、R2、R3、W1、S1、S3の5項目、B1以下に、R5、S5、W3、L2の 4項目、B1+以下に、R1、L4、R4、W2、W5の5項目、B2以下にL3、W4、S4、L5の4項目、

C1以上にL5、S2の2項目が分布しており、B1+からB2への境となるW5とL3の間で比較的大きな差が見られた。閾値分析のレベルとIRT分析のレベルはおおよそ一致していたが、いくつか差異のある項目があった。例えば、S1のオーラル・リプロダクションは閾値分析ではB1+

としたが、IRT分析ではA2の平均を下回った。これは資料1にあるように研究Ⅰのデータで

はA2とB1がともに50%程度と拮抗しており、B1+で大きな開きが出ていることによるだろう。

逆にW3のパラグラフ・ライティングは、閾値分析ではA2であったが、IRT分析ではA2と B1の間に位置していた。資料4を見ると、研究Ⅰのデータでは、交点こそA2と同じであるが、

B1での開きが小さく、値が高めにでたものと思われる。このことは、入学前はB1レベルでも自信があったものが、実際に大学レベルのライティングを経験して、高レベルになってもなかなか自信があがりきらないことを反映しているものと思われる。

(25)

(26)

とした学習経験の転移の影響があるかもしれない。一方で、R1とR4においては、研究Ⅰの閾値分析データでは、B1とB1+の間に明確な差がなく、IRT分析では、B1とB1+の間と判断されたものであると思われる。同じ閾値の項目であってもグラフのパターンによって、IRTによる項目困難度に差異が生じていることがわかる。

2) 多段階データ分析

表11に同一データにおける多段階による項目応答理論分析結果を示す。2値データに置き換えての分析と同様に2パラメータ・モデルにより、項目困難度と識別度の推定を行った。分析にあたってはエグザメトリカ(ver.4.3)を利用した。その結果、各Can-Do尺度項目の2段階目と 3段階目との境界の困難度の順序性はほぼ同一であり、S1のオーラル・リプロダクションとS3 のロールプレイでわずかに逆転していたのみであった。多段階を考慮した場合でも、2 値データにおける困難度の序列と大差はなく、canとcannnotに分けて単純化した分析結果は有効であると言えるだろう。多段階データの分析では順序尺度間の境界値の項目困難度の推定が可能であり1段階目と2段階目の境界及び3段階目と4段階目の境界の困難度から、2段階目及び4 段階目の困難度を分析することができるが、回答者の客観的CEFRレベルの能力推定値の平均を見ると、学習者が2段階目と回答した際の困難度はいずれもA2以下の能力推定値となり、4 段階目と回答した際の困難度の多くはC1以上の能力推定値となった。資料1～4の閾値グラフからも分かるように、多くの回答は2段階目か3段階目に集中しており、１段階目のまったく自信を持たない層や4段階目の強い自信を持っている層が少ないことがわかる。

4段階目の項目困難度が比較的低く、C1レベルの学習者の平均能力推定値より低い項目としてはR2の速読とS1のオーラル・リプロダクション、平均能力推定値に近い項目としてはS3 のロールプレイ、R5 の音読、L4の教室英語があった。閾値グラフを見ると、これらの項目では4段階目の回答比率が比較的高く、C1レベルで50%程度に届いていることがわかる。また、

C1レベルでの回答比率が突出して高いだけでなく、B2やB1+にかけてなだらかに下がっていき、下位のレベルでも一定の回答比率が見られることに特徴がある。L2の日常的会話やR1の日常的情報理解でも、C1レベルでは4段階目の回答比率は40%程度となっていたが、B2やB1+

での回答比率が低く、項目困難度は高かった。L2ではネイティブ・スピーカーが普通に話す速さでの会話を、聞き返しなしで聞き取れることや、R1ではどのような雑誌や新聞記事であっても大体理解できることなど、日常生活上の高い言語スキルを求めており、項目困難度の低かったS1のオーラル・リプロダクションやR2の速読などといった教室学習場面におけるスキル項目と比べて、3段階目と4段階目の段階間の難易度の差が大きいことが考えられる。

(27)

(28)

ル領域と客観的スコアに基づくCEFRのレベルとの対応関係が数値的に検証され、特定された。

そこで、アカデミックCan-Do 尺度で扱われている能力記述が、CEFR の能力記述とどのように関係しているのかを質的に分析するため、「CEFR-J（β版）」〔根岸, 2011〕の能力記述文との比較を行った。CEFR-Jでは日本の教育文脈を意識して記述文が改訂されており、また、6段階のレベルを細分化し、A1を3レベル、A2からB2までを各々2レベルに分け、さらに、Pre-A1 レベルが設けられている。各レベルの記述には、インタラクションを含む5技能のすべてにおいて、2項目ずつの領域の行動が記述されている。

分析にあたっては言語教育学を専門とし、CEFR の記述に習熟した複数の分析者が、アカデ

ミックCan-Do尺度の全体能力記述及び段階別能力記述の記述内容と、CEFR-Jにおける各レベ

ルの能力記述内容の照合を行った。なお、レベルの同定においては、閾値分析やIRT分析などと同様に 3 段階目の記述を「できる(can-do)」とし、前後の段階記述についても可能な限り、

周囲のレベルにおける能力記述との照合を行った。結果、アカデミックCan-Do 尺度（以下、

CDS）の下位項目は、①ほぼレベルと内容の一致した項目が 7 項目、②レベルは一致したが、

内容的にいくらかの差異のある項目が6項目、③レベルに差異のある項目が4項目、④該当する能力記述が存在しない項目が3項目となった。資料5にCEFR-Jの能力記述との照合結果を示す。

1) レベルと内容の一致した項目[7]: S1、S3、S4、L1、L3、R1、W3

一致していた項目はスピーキングやリスニングの項目が多かった。S1のオーラル・リプロダクションは「メモがあれば」と条件を加えている他は、内容はほぼ一致しており、レベルも閾値のB1+とB1.2とで一致した。CEFR-Jでは感想や意見を付け加えるなどと、より総合的な活動としているが、アカデミックCDSでは技能が絞られていた。S3のロールプレイは、3段階目が「台本や練習あり」と条件つきの記述であり、既習表現を交えた 4 段階目の記述が B1.1 と対応していた。3段階目の直接的な記述はないが、閾値とIRTの間のA2+であろうと推測できる。S4のグループ・ディスカッションは、3段階目と4段階目の記述がB2.1の2つの項目とおおよそ対応していた。

L1のニュース・映画では3段階目の記述がB2.1の記述と一致した他、2段階目の記述がB1.2 の記述に該当していた。B1.2は短いニュースに絞られており、アカデミックCDSでは字幕の補助などを想定しているといった違いはあるものの、段階記述が複数のレベルにまたがる可能性も示された。L3の説明・講義は、アカデミックCDSでは、より具体的に板書や資料を参照ながら聞くことを想定しているものの、概ねレベル、内容ともに一致していた。

R1の読解における日常的情報理解はCEFR-Jで学習版の新聞や雑誌といった限定がされてい

(29)

たが、B1.1とほぼ一致しており、A2.2の記述も2段階目の記述と対応していた。W3のパラグラフ・ライティングは、3段階目の記述がA2.1と対応しており、閾値のレベルと一致したが、

4段階目に関してはCEFR-Jでは該当する記述がB2.1の記述となり、幅広い語彙や複雑な文構造を用いるなど、レベルの高い記述のされ方をしており、B1レベルでの一貫した文章のライティングの記述がなかった。アカデミックCDSの4段階目の記述が、B1レベルに該当するかは吟味が必要であろう。

2) レベルは一致したが、内容的に差異のある項目[6]: S5、L2、L4、R4、W2、W5

内容的に差異のあった項目は、教室活動的要素の強い項目に見られた。S5のストーリー・テリングに関しては、CEFR-Jでは4コマの絵を用いるなどといった具体的なタスクが想定されてはいないものの、B1.1 の記述にある「聞き手を混乱させないように」または、「事前準備やメモがある」といった条件が、タスクの条件と近い能力を記述しているものと思われる。レベル的には概ね該当していたが、アカデミックCDSより一般的な記述となっていた。L2の日常的

会話はCEFR-JのB1.1では議論の要点とあったが、何度か聴かないと分からないという点で、

理解度は概ね同じであるとみなすことができると思われる。ただし、教室内での活動を想定した「聞き直し」といった要素は、より現実的な場面を想定したCEFR-J では見られなかった。

L4の教室英語は、CEFR-Jでは教室という設定では必ずしもないものの、「学校の宿題」の例示も含まれており、大きくは該当していた。

R4のプレジャー・リーディングは、辞書引きに関して、アカデミックCDSでは3段階目で推測読みの記述としている点で異なるものの、B1.2の記述と概ね対応していた。2段階目の記述もA2.1の記述と対応しており、おおよその全体的な能力の一致は見られたが、辞書の助けの有無や物語文の難易度などさらに吟味をする必要があるだろう。W2 のサマリー・ライティングは、B1.2の記述では読みに基づいているといった違いはあるものの、概ね一致していた。また、S1のオーラル・リプロダクションのCEFR-J該当記述と同様に、要約だけでなく、意見を付け加えることが含まれている点でも異なっていた。W5のEメール・ライティングは、アカデミックCDSでは返信と場面を限定している点で異なるものの、B1.2の記述と概ね対応していた。ただし、アカデミック CDS では複雑な用件に応じるなど、私信だけでなく、商用などの用件を想定している点で、より具体的な記述となっていた。

3) レベルに差異のある項目[4]: S2、L5、R3、W4

レベルに差異のある項目は各技能にひとつずつ見られ、R3では能力が下方に判断、他では上方に判断されていた。S2のプレゼンテーションは、2段階目がCEFR-JのA2.1のShow & Tell

(30)

的な活動に該当し、4段階目がB2.1のプレゼンテーションに該当することから、3段階目のペアやグループ・プレゼンテーションはその中間に位置すると推定されるが、調査では閾値分析、

IRT分析ともにC1相当となっており、プレゼンテーションが難易度の高い活動であると先入観を持ち、過剰に反応していることが考えられる。このことは大学でのプレゼンテーション活動がアカデミックな内容に限定されており、Show & Tellのような身近な内容の説明があまり扱われていない可能性も示唆しており、ブリッジ的な活動が不在であることが問題点として考えられる。L5の聴解における日常的情報理解も同様に、CEFR-Jでの該当記述は、B1.2とA2.2 がそれぞれ3段階目と2段階目に対応していたが、閾値分析、IRT分析ともにB2相当と、より高いレベルの判断がなされていた。このことはアカデミックCDSの記述の「聞きなれない」

といった文言に影響された可能性も考えられるが、現実の状況における行動経験があまりない学習者では、想定が高くなっていることが考えられる。

R3のパラグラフ・リーディングでは逆にCEFR-Jの該当記述よりレベルが下と判断されており、B1.2では調べ学習が想定されるなど、やや内容的にずれがあるものの、概ね3段階目と対応しており、4段階目はB2.1と対応していた。R2とは異なり、R3では高校の教科書レベルとの文言はなかったものの、文章のレベルの想定を低く見積もっていることが考えられる。実際、

特に下位レベルにおいて、入学後の大学英語学習における自信の低下が観察されており、より詳細な分析が求められるだろう。一方、W4のディスクリプティブ・ライティングでは、CEFR-J のB1.1の記述と3段階目が概ね一致していたが、B2と判断されていた。このことは、B1.1が身近な状況を想定しているのに対して、アカデミックCDSの 3段階目ではあまり身近でない状況を想定しており、その点で差異が生じたことが考えられるが、CEFR-JではB2以上では主に論理的文章に記述が移ってしてしまうこともあり、高度な描写と論理性の高い文章のライティングについて、さらなる吟味が必要だろう。

4) 能力記述が存在しない項目[3]: R2、R5、W1

能力記述が存在しない項目としては、R2の速読やR5の音読といった現実場面での活動ではなく、教室場面での活動で多く用いられている活動があがった。その他、W1 のエラー・コレクションなど、現実的な課題において要求される能力の下位技能に関する記述が少ない印象であった。他にもディクテーションやシャドーイングなどの活動も、教室場面に特有の活動と考えられるが、こうした技能の記述を補うことで、現実場面における能力記述との関係性をより深く分析し、レベルとの関連付けを行い、アカデミックな言語教育の分野における記述の具体化を行うことで、CEFR-Jを補完していくことが必要だろう。

(31)

おわりに

研究 Ⅰでは「アカデミックCan-Do尺度に基づいた自己評価の発達指標としての利用可能性」

を探るため、客観的評価に基づくCEFRのレベルとアカデミックCan-Do尺度スコアを比較することで、各サブスキルにおける自信の発達を分析した。その結果、レベルが上昇するにつれて、多くの活動に自信を示すようになることが示された。また、入学時から2年次末にかけての経年比較データの分析により、大学での英語学習経験を経て、能力が変化していく様子が観察され、アカデミックCan-Do尺度の自己評価の能力発達指標としての有効性が示された。

研究Ⅱ ではさらに「アカデミックな教育文脈での言語学習におけるCEFRの能力記述の補完可能性」を探るために、アカデミックCan-Do尺度の下位尺度とCEFRレベルとの数量的な分析に基づいた対応付けが行われ、また、日本の文脈に適用して開発されたCEFR-J の能力記述との比較分析により、CEFR-Jの記述と重複する記述とアカデミックCan-Do尺度に特有の記述の分析が行われた。両者における該当する能力記述の相互のレベルは概ね対応していたものの、

中にはレベルは一致したが、内容的に差異のある項目もあり、教室場面での言語活動に特有の特徴を具体的に補完する記述が見られた。他にも教室活動としては典型的な活動であるものの、

CEFR-Jには能力記述が存在しない項目も見られ、前後の項目難易度からCEFR のレベルを推

測することで、よりアカデミックな教室の文脈に合わせて、CEFR-Jの能力記述を補完するさらなる可能性が示された。

ただし、いくつかはレベルに差異のあった項目も見られ、今後の課題として、そうした項目の原因分析を行う他、アカデミックな教育場面に文脈化された能力記述とより一般的な現実場面での能力記述とのより一層のすり合わせが必要であろう。また、段階記述についても、多段階データによるIRTを用いた全体的な数量的解析を試みたが、今後、個々の項目の難易度の段階的発達について精査し、CEFR との対応関係を明確化する中で、能力発達段階をより詳細に記述し、補完していくことが考えられる。全般的な傾向として、1 段階目の自信のない段階の比率が低い一方で、4段階目の高い自信を持った段階の到達度合いが低い傾向にあり、3段階目から4段階目へとどのように自己効力を高めていくかの議論が必要であろう。また、そのために、到達段階を踏まえて、具体的に学習を支援するタスクを開発していくことも求められる。

現在、英語学習支援センターでは、談話完成タスクと一文要約タスクを開発し、2010年度より実施しているが、今後、そうしたタスクを追加して開発し、モジュール的な利用を可能とするとともに〔長沼, 2009〕、実証データによる検証を行うことによって、学習可能性の高い記述の補完が可能となるだろう。

今回の分析の結果、アカデミックな学習環境において課題となる学習項目が浮き彫りとなって来た。こうした情報をもとに今後「TUFS 言語フレームワーク」の開発を行い、英語学習支

(32)

援センターで開発を進めている能力評価テストや自律学習支援プログラムの改善につなげていきたい。また、「TUFS e言語ポートフォリオ」に関しては、現在、学習者が自律的に目標設定や自己到達度評価を行うためのシステムを開発中であるが、大阪大学での事例に見られるように、各専攻語で期待される卒業時までの能力到達段階をシラバスに明示し、アカウンタビリティを高めることや、提携留学先や大学院等とのアーティキュレーションを図ることにつながることも期待される。「TUFS 言語パスポート」の例を図12に示したが、今後、英語でのプロトタイプとしての事例をもとに、複言語使用者としての言語能力ポートフォリオを示すパスポートを発行し、多言語学習支援環境の構築を行っていきたい。

図12. TUFS言語パスポート(2010年度版)

(33)

参考文献

Council of Europe 2001. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Cambridge: Cambridge University Press. (吉島茂他訳 2004『外国語の学習、教授、評価のためのヨーロッパ共通参照枠』朝日出版社)

Naganuma, N. 2010. The range and triangulation of can do statements in Japan. In M. G. Schumidt, N. Naganuma, F.

O’Dwyer, A. Imig, and K. Sakai (Eds.) Can do statements in language education in Japan and beyond: Application of the CEFR. (pp.19-34) Tokyo: Asahi Press. (マリア・ガブリエラ・シュミッド他編『日本と諸外国の言語教育

におけるCan-Do評価：ヨーロッパ言語共通参照枠(CEFR)の適用』朝日出版)

慶應義塾大学外国語教育研究センター 2011『文部科学省私立大学学術研究高度化推進事業学術フロンティア推進事業行動中心複言語学習プロジェクト慶應義塾大学言語プロフィール調査報告書』(慶應義塾大学外国語教育研究センター)

斉田智里 2008「ヨーロッパ言語共通参照枠（CEFR）による日本人大学生英語力診断の試み：英語教育達成目標へのCEFR適用可能性の一検討」『JACET Journal』47 (pp.127-140)

永井典子・福田浩子 2004「茨城大学教養英語教育のレベル別目標設定：COEの共通参照レベルを参考にして」

『茨城大学人文学部コミュニケーション学科紀要』16 (pp.75-106)

長沼君主 2008「Can-do 尺度はいかに英語教育を変革しうるか：Can-do 研究の方向性」『ARCLE Review』No.2 (pp.50-77)

長沼君主 2009 「Can-Do評価－学習タスクに基づくモジュール型シラバス構築の試み」『東京外国語大学論集』

79 (pp.87-106)

長沼君主・宮嶋万里子 2006「清泉アカデミックCan-Doフレームワーク構築の試みとその課題と展望」『清泉女子大学紀要』54 (pp.43-61)

長沼君主・吉田研作 2010「東アジア高校英語教育調査から見た日韓中高校生における英語Can-Do自己評価スコア比較」『ARCLE Review』No.4 (pp.6-24)

根岸雅史 2006「CEFR の日本人外国語学習者への適用可能性の向上に向けて」『言語情報学研究報告14：第二言語習得理論に基づく言語教育と評価モデル』(pp.79-101)

根岸雅史 2011「CEFR-J開発の経緯」『ARCLE Review』No.5 (pp.38-52)

真嶋潤子 2007「言語教育における到達度評価制度に向けて：CEFR を利用した大阪外国語大学の試み」『間谷論集』創刊号日本語日本文化教育研究会 (pp.3-27)

(34)

(35)

(36)

(37)

(38)

(39)

(40)

資料5「英語アカデミックCan-Do尺度CEFR-J対応表」

項目閾値 IRT 困難度記述段階段階記述 CEFR-J

(β版）レベル記述

S1 B1+ A2 -0.466

高校の教科書レベルの短いテキストを読んで、その内容を英語で説明できる。

3 テキストを見ないでも、メモが

あれば大体説明できる S-P B1.2

短い読み物か短い新聞記事であれば，ある程度の流暢さをもって，自分の感想や考えを加えながら，

あらすじや要点を順序だてて伝えることができる。

2

メモや原稿を見ながらであれば、なんとかつっかえずに説明できる

S-P A2.1

前もって発話することを用意した上で，写真や絵，

地図などの視覚的補助を利用しながら，一連の簡単な句や文を使って，身近なトピック（学校や地域など）について短い話をすることができる。

4 一人でも、メモや原稿をみな

いでつっかえずに説明できる S-P B2.1

ある視点に賛成または反対の理由や代替案などを挙げて，事前に用意されたプレゼンテーションを流暢に行うことができ，一連の質問にもある程度流暢に対応ができる。

2

台本を見ながらであれば、なんとか相手の顔を見てつっかえずに会話ができる

S-I A1.2

スポーツ，食べ物，好き嫌いなどのなじみのあるトピックに対して，はっきりと話されれば，限られたレパートリーの表現を使って，簡単な意見を交換できる。

4

それまで学習してきた表現を交えて、相手の顔を見ながらある程度の長さの自然な会話ができる

S-I B1.1

個人的に関心のある具体的なトピックについて，簡単な英語を多様に用いて，社交的な会話を続けることができる。

3

授業内でワークシートを使って準備をすれば、積極的に会話に参加することができる

S-I B2.1 なじみのあるトピックについて，読んだり聞いたりしたことの要点について議論することができる。

4

授業内でワークシートを使って準備をすれば、積極的に会話に参加でき、議論をリードできる

S-I B2.1

母語話者同士の議論に加われないこともあるが，

自分が学んだトピックや自分の興味や経験の範囲内のトピックなら，抽象的なトピックであっても，議論できる。

S5 B1 B1 -0.357

日常的な場面を描いた４コマの絵を見て、その内容を英語で説明できる

3

時間の前後関係や人物関係は正確ではないところもあるが、起承転結をふまえて説明できる

S-P B1.1

自分の考えを事前に準備して，メモの助けがあれば，聞き手を混乱させないように，馴染みのあるトピックや自分にとって関心のある事柄について語ることができる。

2

英語のスクリプト(台本)やサブタイトル(字幕)があれば、ある程度理解できる

L B1.2

はっきりとなじみのある発音で話されれば，身近なトピックに関するラジオの短いニュースなどを聞いて，要点を理解することができる。

3

英語のスクリプト(台本)やサブタイトル(字幕)なしでも、ある程度理解できる

L B2.1 標準的な速さの標準英語で話される，母語話者同士の会話（テレビ，映画など）の要点を理解できる。

L2 B1 B1 -0.249

日常的な話題に関する英語を聞いて、理解することができる

3

ネイティブが普通に会話する程度の速さでも、何回か聞けば理解できる

L B1.1

はっきりとなじみのある発音で話されれば，自分の周りで話されている長い議論の要点を理解することができる。

L3 B2- B2 0.121

あまり専門的でない内容に関する、比較的ゆっくりとした英語の説明を聞いて理解できる

3

板書や資料があれば、メモを取りながら話の中で重要な部分を判断し理解することができる

L B2.1 トピックが身近であれば，長い話や複雑な議論の流れを理解できる。

L4 B1+ B1+ -0.126 授業中に教師が話す英語を

聞いて理解できる 3

ある程度複雑な指示や解説などであっても、大体理解できる

L B1.1

はっきりとなじみのある発音で話されれば，（学校の宿題，旅行の日程など）明確に事実を伝えるメッセージの要点を理解することができる。

2

よく耳にする英語であれば、

問題なく理解することができる

L A2.2

ゆっくりはっきりと話されれば，（買い物や外食などで）簡単な用をたすのに必要な指示や説明を理解することができる。

3

聞きなれない内容であっても、なんとか理解することができる

L B1.2

標準的な速さの録音や放送（天気予報や空港のアナウンスなど）を聞いて，自分にとって関心のある，

具体的な情報の大部分を聞きとることができる。

2

よく目にする英語であれば、

問題なく理解することができる

R A2.2

生活，趣味，スポーツなど，日常的なトピックを扱った文章の要点を理解したり，必要な情報を取り出したりすることができる。

3

見なれない内容であっても、

なんとか理解することができる

R B1.1 学習を目的として書かれた新聞や雑誌の記事の要点を理解することができる。

L5 B2- B2 0.248

日常的な生活上での英語(駅のアナウンス、店でのやりとり等)を聞いて、必要な情報が理解できる

R1 B1 B1+ -0.140

日常的に接する英語で書かれたテキスト(広告、雑誌、新聞の記事等)を読んで、必要な情報が理解できる S4 B2 B2 0.239

よく知っている話題に関して、

数人のグループで会話(ディスカッション)ができる

L1 B2 C1 0.641

日常的な話題や関心のあるテーマのニュースや、映画などを英語で聞いて理解できる S2 C1+ C1 1.07

映像資料を使いながら、よく知っている話題に関するプレゼンテーションができる

S3 B1 A2 -0.450

授業で練習した表現を使って、日常的な話題に関してペアで会話(ロールプレイ)ができる

(41)

資料5「英語アカデミックCan-Do尺度CEFR-J対応表」（続き）

項目閾値 IRT 困難度記述段階段階記述 CEFR-J

(β版）レベル記述

R2 A2 A2 -0.936

高校の教科書レベルの短いテキストを、ある程度の速さで読むことができる

3

ある程度の速さで読むことができるが、内容を覚えていないところがある

R - （該当項目なし）

3

パラグラフの内容を理解することができ、全体の流れもある程度理解することができる

R B1.2

インターネットや参考図書などを調べて，文章の構成を意識しながら，学業や仕事に関係ある情報を手に入れることができる。必要であれば時に辞書を用いて，図表と関連づけながら理解することができる。

4

パラグラフの内容を細部まで理解することができ、全体の流れも適切に理解することができる

R B2.1

現代の問題など一般的関心の高いトピックを扱った文章を，辞書を使わずに読み，複数の視点の相違点や共通点を比較しながら読むことができる。

2

辞書を引きながらであれば、

注釈や説明に頼らなくてもなんとか理解することができる

R A2.1 簡単な語を用いて書かれた物語や伝記などを理解することができる。

3

辞書を引かなくても、ある程度推測しながら読み飛ばして理解することができる

R B1.2 簡単な英語で書かれた物語文を，語注や辞書を用いれば物語の筋を理解することができる。

R5 B1 B1 -0.397

高校の教科書レベルの短いテキストを音読することができる

3

モデル音声を聞かなくても、１回黙読をすればつかえずに自然に読むことができる

R - （該当項目なし）

W1 A2 A2 -0.618

英語で書いた原稿を見て、自分で文法的な誤りを直すことができる

3

自分の書いた原稿を見直して、辞書や参考書などを見ながらある程度直せる

W - （該当項目なし）

2

ゆっくりとした速さの英語を区切って聞けば、なんとか要約することができる

W A2.2

聞いたり読んだりした内容（生活や文化の紹介などの説明や物語）であれば，基礎的な日常生活語彙や表現を用いて，感想や意見などを短く書くことができる。

3

自然な速さの英語であっても区切って聞けば、なんとか要約することができる

W B1.2

新聞記事や映画などについて，専門的でない語彙や複雑でない文法構造を用いて，自分の意見を含めて，あらすじをまとめたり，基本的な内容を報告したりすることができる。

3

理由や具体例をあげながら、

なんとか一貫した文章を書くことができる

W A2.1

文と文を and, but, because などの簡単な接続詞でつなげるような書き方であれば，基礎的・具体的な語彙，簡単な句や文を使った簡単な英語で，日記や写真，事物の説明文などのまとまりのある文章を書くことができる。

4

適切に理由や具体例をあげながら、構成のはっきりとした一貫した文章を書くことができる

W B2.1

そのトピックについて何か自分が知っていれば，多くの情報源から統合して情報や議論を整理しながら，それに対する自分の考えの根拠を示しつつ，

ある程度の結束性のあるエッセイやレポートなどを，

幅広い語彙や複雑な文構造をある程度使って，書くことができる。

2

自分に関することや日常的な出来事であれば、なんとか書くことができる

W A2.2

身の回りの出来事や趣味，場所，仕事などについて，個人的経験や自分に直接必要のある領域での事柄であれば，簡単な描写ができる。

3

あまり身近でないことについても、状況をある程度説明しながら書くことができる

W B1.1

自分に直接関わりのある環境（学校，職場，地域など）での出来事を，身近な状況で使われる語彙・

文法を用いて，ある程度まとまりのあるかたちで，

描写することができる。

2

予定を伝える、相手を誘うなどのよくある用件であれば、

なんとか返事をすることができる

W A2.1

日常的・個人的な内容であれば，招待状，私的な手紙，メモ，メッセージなどを簡単な英語で書くことができる。

3

条件をつけて応じるといったある程度複雑な用件であっても、なんとか返事をすることができる

W B1.2

物事の順序に従って，旅行記や自分史，身近なエピソードなどの物語文を，いくつかのパラグラフで書くことができる。また，近況を詳しく伝える個人的な手紙を書くことができる。

W4 B2 B2 0.182 英語で出来事や状況を説明する文章をことができる

W5 B1+ B1+ -0.030

知人や友人、先生からの英語のメールを読んで、返事を書くことができる W2 B1+ B1+ -0.036

高校の教科書レベルの英語を聞いて、メモを取った上で英語で要約することができる

W3 A2 B1 -0.331 英語で一貫したまとまりのある文章を書くことができる R3 A2 A2 -0.627

ある程度の長さの構成のはっきりとした英文を読んで、理解できる

R4 B1 B1+ -0.108 辞書を引かずに英語の物語やエッセイを読むことができる

＊項目網掛けが、濃い灰色で白抜き文字は「該当なし」、灰色の網掛けは「レベル差あり」、薄い灰色の網掛けは

「活動差あり」。なお、「閾値」は2008-09年度入学生データ（1年次末、2年次末）、「IRT」は2010年度入学生データ（入学時）の分析により推定されるCEFRレベルを示す。記載以外の段階記述に関しては、長沼・宮嶋〔2006〕

または長沼〔2008〕の資料を参照のこと。英語版はNaganuma〔2010〕にある。

CEFR に準拠した TUFS 言語フレームワーク構築の試み

CEFR に準拠した TUFS 言語フレームワーク構築の試み

長沼 君主 工藤 洋路 吉冨 朝子

長沼君主工藤洋路吉冨朝子