研究課題３に関わる分析

RQ3: PWD-E、PWD-J、PWD-TLのうちどの条件のPWDが最も優れたL2作文につながる か。

この課題に応えるため、4つの条件下で書かれた意見文80本の質を評価する。評価のた めのルブリックとしては、当初プロンプトの形式が近い IELTS のライティングセクション の評価に用いられるものを参考にしようとした。しかし、IELTS で評価対象とされている Task Achievement、Coherence and Cohesion、 Lexical Resource、と Grammatical Range and

Accuracy のうち語彙及び文法の誤用については本研究の目的の範囲外になるため検討しな

い、という方針に従えば、評価の精度が低くなりすぎることが懸念された。そこで、本研究 で得られた作文の特徴をよりつかみやすいルブリックを新たに設定することにした。その 設定においては、広く用いられているテストを参考にしたいと考えたが、CEFRのルブリッ クはジャンル別になっていないため、また、TOEFLのような general scoreだけのルブリッ クは項目別になっていないため、本研究においてはあまり参考にならない。そこで、2010年 にアメリカで発表されたCCSS （Common Core State Standards：各州共通基礎スタンダード）

を参考にすることとした。CCSSのG11-12（大学入学前の学年相当）のライティングセクシ ョンでは、argument, informative/explanatory textsとnarrativesという3つのジャンルに対する ライティング教育の目標とその評価が提示されている。本研究ではこのうち argument の評 価を参考とした。

CCSSはargumentの評価項目として以下の5点を挙げている。

CCSS.ELA-LITERACY.WHST.11-12.1.A

Introduce precise, knowledgeable claim(s), establish the significance of the claim(s), distinguish the claim(s) from alternate or opposing claims, and create an organization that logically sequences the claim(s), counterclaims, reasons, and evidence.

CCSS.ELA-LITERACY.WHST.11-12.1.B

Develop claim(s) and counterclaims fairly and thoroughly, supplying the most relevant data and evidence for each while pointing out the strengths and limitations of both claim(s) and counterclaims in a discipline-appropriate form that anticipates the audience's knowledge

56 level, concerns, values, and possible biases.

CCSS.ELA-LITERACY.WHST.11-12.1.C

Use words, phrases, and clauses as well as varied syntax to link the major sections of the text, create cohesion, and clarify the relationships between claim(s) and reasons, between reasons and evidence, and between claim(s) and counterclaims.

CCSS.ELA-LITERACY.WHST.11-12.1.D

Establish and maintain a formal style and objective tone while attending to the norms and conventions of the discipline in which they are writing.

CCSS.ELA-LITERACY.WHST.11-12.1.E

Provide a concluding statement or section that follows from or supports the argument presented.

© Copyright 2010. National Governors Association Center for Best Practices and Council of Chief State School Officers. All rights reserved.

こうした到達目標を念頭に、データ収集前のPhase２で行った復習の内容が反映されるよ うに配慮しつつ、introduction, coherent claim, support, balanced argument, およびorganisationの ５つの項目からなるルブリックの表を作成した（表5-12）。

各項目はemerging, developing, proficient およびadvancedの４つのレベルで評価すること とし、とくに developing と proficient のレベルの判定は、読んで直接理解できるものを

proficientとし、ある程度のinferenceを必要とするものについてはdevelopingとすることに

した。評定は筆者に加え、日本の大学でアカデミック・ライティングの指導を経験したこと のある英語母語話者の教員に研究協力者として参加してもらい、すべての作文について二 人で判定した。評価者間信頼度（Cohen’s coefficient agreement）はIntroductionについてはκ

＝0.736、Coherent Claimについてはκ＝0.808、Supportについてはκ＝0.661、Balanced Argument についてはκ＝0.807、Organisationについてはκ＝0.956であった。すべての作文について二 人で判定してあるため、以下の分析では二人の評価者の合計点を得点として使用した。

57 表5-12

本研究で作文の評価に使用したルブリック

Criteria 3: Advanced 2: Proficient 1: Developing 0: Emerging

Introduction The essay has an effective introduction that states the agenda clearly with some explanation about the background of that topic.

The essay has an introduction that states the agenda clearly without much explanation about the background of that topic.

The essay has an introduction that states the agenda but only by using the words and phrases given in the prompt and does not provide any background

information related to the given topic.

The essay does not maintain focus on purpose or task.

Coherent Claim The essay states the writer’s claim clearly and maintains the claim coherently. The claim stated in the

introduction is clearly stated again in the conclusion, but in different expressions.

The essay states the writer’s claim clearly and maintains the claim coherently. The claim stated in the

introduction is clearly stated again in the conclusion, but the expressions are repeated.

The essay states the writer’s claim but it is vaguely stated, or suffers from incoherence.

The essay does not clearly make a claim, or the claim does not maintain coherence.

Support The writer’s claim is logically supported by enough evidence or explanations.

The writer’s claim is logically supported by some evidence or explanations, but the amount of evidence is somewhat scarce.

The essay uses some evidence but may not precisely explain how it supports the claim, or the supports are vague and general.

The essay does not use clear or relevant evidence or reasoning to support the claim

Balanced argument

The essay examines the topic from balanced point of view and examines the both sides of the argument thoroughly, with a clear refutation of the opposing view of the writer.

Counterclaims are acknowledged but may be only generally explained and/or distinguished from the essay's central claim.

Counterclaims are acknowledged but in a confusing manner.

The essay does not address counterclaims.

Organisation The essay is organized in a logical manner with the use of effective transitional words and phrases that enhances the relationships between and among ideas.

The essay is organized with use of transitional manners, but not in the most logical/effective order. Or, the essay may be organized in a logical manner but only through the use of highly formulaic transitional words (e.g.

first, second).

The essay uses a basic organizational structure but relationships between and among ideas may not be consistently clear.

The essay does not have a clear

organizational structure and may simply offer a series of ideas without any clear transitions or connections.

作文の評価にあたっては、量的な指標とルブリック評価による質的な指標の両方を組み 合わせるのが妥当であるということをSano, Nakajima, Thomson, Fukukawa, Ikuta, and Nakano

（2014）で示した。この研究では、総語数、語彙の多様性、構文の多様性（並列節及び従属 節の割合）、及び誤用（語彙、文法及び表記）について、検討しているが、ここでは構文の 多様性と誤用については研究の対象外とした。これは、研究１で観察したプレライティン グ・ディスカッションにおいては、学習者たちがPWD内で構文の多様性や誤用について話

58

し合う場面が見られなかったためである。これらの項目は、文章産出前に話し合われること はまれで、どちらかというとピア・レビューのような、文章産出後の活動内で話し合われる ことが自然な流れのようである。そこで、本研究では、主に構成や論理の展開に関わる文章 技術についてはルブリック評価で判定し、作文の内容の広がりや深まりについては語彙の 多様性の指標を用いることとした。総語数を異なり語数の2倍の平方根で割った値、として 求められる語彙の多様性の指標は、単純な総語数における異なり語数の率（type-token ratio）

とは異なり、産出された総語数も反映されるため第二言語作文の発達の指標としての使用 に耐えるとされ（Wolfe-Quintero, Inagaki and Kim, 1998）、Sano et al.（2014）でもその有用性 が確認された指標である。従って、本研究では、１）総語数、２）語彙の多様性、そして３）

ルブリックによる質的評価得点の3項目によって作文の評価を行う。