34 KURU, Yukiko, MASAKI, Michiko, & KINSHI, Kayoko
useful for assessing their writing. They seemed to have few problems with the current five dimensions and four levels. They also agreed, rather strongly, on the assessment policy that both teachers and students use the same rubric. However, the students did not find that the use of the rubric helped them write and/or revise much, as the results of Items 21 and 22 showed.
In addition, one student commented that the rubric alone was not enough for grammar correction, which suggested that other types of help be necessary.
What possibly accounts for this comment and the questionnaire results of Items 21 and 22 is the English language proficiency levels of the students in this study. As shown in Table 1, the average scores of C-test was considerably below the average score across 16 universities.
Considering the lower English proficiency levels of the students, we might need to supplement the rubric.
Among the comments we received from the teacher was a suggestion that the descriptors should be revised so that the users of the rubric, teachers or students, can understand it fully. The suggestion, as well as the fact that one of the students in the study was confused on how to use the rubric, made us realize that one of the major problems with classroom use of the rubric could be how to ensure a good understanding of the rubric.
Depending upon the familiarity with which teachers and students use the rubric, we should spend enough class time practicing using the rubric.
This problem must also be seen in relation to the other purpose of the rubric pilot use.
When we compared the scores by the teacher with the ones by the students, we found that the students tended to give higher scores than the teacher. In some cases the difference was more than 20 points, and this contributed to rather poor correlations between the teacher evaluations and the student self-evaluations. It is our belief that a good understanding and practice of the rubric would improve the correlations between the two.
The Preliminary Examinations of the Rubric of Our Own Designing 35
JACET関西支部ラ テ ング指導研究会紀要 第8号 (2009)
revised rubric works, again in an empirical way, but next time with a larger number of participants.
Acknowledgments
This paper is a revised version of the paper presented by the authors at the 2007 Symposium on Second Language Writing in Nagoya. We would like to express our sincere gratitude to the members of the Writing Research Group of the JACET Kansai Chapter for designing the pilot rubric as their research project. In addition, we deeply appreciate the invaluable cooperation in evaluating students’ writing samples provided by Professor Keiko Hayashi at Hiroshima Jogakuin University and Professor Hisao Nishijima at Mukogawa Women’s College.
Notes
1. For the detailed discussion on the rationales for the classroom use of rubrics and the rubric designing process, see Nishijima, Hayashi, Masaki, Kinshi, and Kuru (2007).
2. For the details of the C-test and the entire sets of the test, see Writing Research Group, JACET Kansai Chapter (1999).
3. Unpublished data on the C-test results done by the Writing Research Group of the JACET Kansai Chapter in 1998.
References
Bachman, L. F. (2004). Statistical analyses for language assessment. Cambridge: Cambridge University Press.
Cumming, A. (1989). Writing expertise and second language proficiency. Language Learning, 39, 81-141.
Cumming, A. (1990). Expertise in evaluating second language compositions. Language Testing, 7, 31-51.
Cumming, A. (1995). Fostering writing expertise in ESL composition instruction: modeling and evaluation. In D. Belcher & G. Braine (Eds.), Academic writing in a second language: Essays on research and pedagogy (pp. 375-397). Norwood, NJ: Ablex Publishing Corporation.
Dörnyei, Z. (2003). Questionnaires in second language research: construction, administration, and processing. Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.
Hughey, J. B., Wormuth, D. R., Hartfiel, V. F., & Jacobs, H. L. (1983). Teaching ESL composition: Principles and techniques. Rowley, MA: Newbury House Publishers.
Nishijima, H., Hayashi, K., Masaki, M., Kinshi, K., & Kuru, Y. (2007). Developing a writing rubric for classroom use in Japanese higher education. JACET Journal, 45, 109-115.
Writing Research Group, JACET Kansai Chapter. (1999). Pre-Test and Post-Test Materials.
Teaching writing in colleges and universities: Practical reports (3), 81-87.
36 KURU, Yukiko, MASAKI, Michiko, & KINSHI, Kayoko
The Preliminary Examinations of the Rubric of Our Own Designing 37
JACET関西支部ラ テ ング指導研究会紀要 第8号 (2009)
38 KURU, Yukiko, MASAKI, Michiko, & KINSHI, Kayoko Appendix B: The Questionnaire on the Rubric
評価表 いての ン ート
この授業 皆さ 評価表 を使 て自分の作文を自己評価して い した。私 正木 を含め この評価表を作成した大学英語教育学会関西支部ラ テ ング指導研究会 実際 この評価表を使 た皆さ の感想を 聞 し この評価表を 使いや い の したいと考え てい 。 ン ート 正しい 答え 間違 た 答え あ せ 。 た ン ート の回答 授業の成績 一 関係し せ 。皆さ の意見 感想 評価表の研究のため の
使用さ ことを 約束し 。 う 率直 誠実 感想を聞 せてく さい。 協力あ とう い 。
以下の質問 いてそ 自分の意見 一番近いと思う の ○を けて下さい。
全くう思わい う思わい いえ
う思わい いえ
う思う う思う 強くう思う
1. 評価表 わ や た 。
2. 評価表 使いや た 。
3. 評価表 自分の作文を評価 の 役 立 たと思い 。
4. 評価表 自分の作文を評価 の 適 たと思い 。
5. 評価表の英語の 明 わ や た
。
6. 自分の作文を評価 の この英語の 明を 利用し した 。
7. この英語の 明 自分の作文を評価 の 役 立 たと思い 。
8. この英語の 明 自分の作文を評価 の 適 たと思い 。
9. 評価表の日本語の 明 わ や た
。
10. 自分の作文を評価 の この日本語の 明 を利用し した 。
11. この日本語の 明 自分の作文を評価 の 役 立 たと思い 。
12. この日本語の 明 自分の作文を評価 の 適 たと思い 。
13. 内容 展開 構成 文法 語彙 綴
句読点 の5 の項目分け わ や た 。
The Preliminary Examinations of the Rubric of Our Own Designing 39
JACET関西支部ラ テ ング指導研究会紀要 第8号 (2009)
Appendix B: The Questionnaire on the Rubric (continued)
全くう思わい う思わい いえ
う思わい いえ
う思う う思う 強くう思う
14. この5 の項目分け 使いや た
。
15. この5 の項目分け 自分の作文を評価 の 役 立 たと思い 。
16. この5 の項目分け 自分の作文を評価 の 適 した 。
17. 1 4 の4段階の ベ 分け わ や
た 。
18. この4段階の ベ 分け 使いや た
。
19. この4段階の ベ 分け 自分の作文を評価 の 役 立 たと思い 。
20. この4段階の ベ 分け 自分の作文を評価 の 適 した 。
21. この評価表 作文を書いてい と 役 立 たと思い 。
22. この評価表 作文を修正してい と 役 立 たと思い 。
23. この評価表 教師 正木 皆さ の作文を 評価 の 使い 。この う 評価表 を使 て作文 評価さ こと いて賛成
。
24. 教師と学習者 同 評価表を使うこと 賛 成 。
その他 何 感想や意見 あ 自由 書 く さい。
40 KURU, Yukiko, MASAKI, Michiko, & KINSHI, Kayoko Appendix C: C-Test (Excerpt)
Directions
次の英文 １語 単語 半分 た 半分プラス１字 消さ た状態 てい 。例 て そ の空所 必要 文字を入 意味の通 文 し さい。
例 Take o___ your sh_____ when y____ enter a Japa______ house.
Take off your shoes when you enter a Japanese house.
Sample Question
A few weeks ago my sister and I had a trip together in western Japan. We sp______ time visi________ tourist sig______ in Kyoto, Nara, a____ other pla______. Unfortunately i__
was t____ school tr____ season. Wher________ we we____, we we____ surrounded b__ large gro______ of junior high school students on their school excursions.
Answers
A few weeks ago my sister and I had a trip together in western Japan. We spent time visiting tourist sights in Kyoto, Nara, and other places. Unfortunately it
was the school trip season. Wherever we went, we were surrounded by large groups of junior high school students on their school excursions.
Scoring
2 points for each successfully completed word
1 point for some answers with a minor mistake (specified beforehand)
41
______________________________________________________________________________________
JACET関西支部ラ テ ング指導研究会紀要 第8号 pp. 41–51. (2009)
© The Writing Research Group, JACET Kansai Chapter. Printed in JAPAN. ISSN 1883-7840
TOEFL iBT の統合型スピーキング問題の形式を準用したラ テ ング
Writing Based on the TOEFL-iBT Integrated Speaking Tasks
NODA, Miki
Osaka City UniversityAbstract
This paper attempts to investigate the effectiveness of use of TOEFL-iBT Integrated Speaking Tasks in building productive knowledge of vocabulary as well as creating a coherent paragraph. The TOEFL-iBT Integrated Speaking Tasks require test takers to read, listen and then speak, or listen and then speak in response to a question. Therefore, test takers need the ability to combine information through reading and listening and communicate about the key information. In the two classes, fifty six second-year students received a process-approach writing instruction and produced a number of compositions which were later examined for analysis. Concretely they wrote one-paragraph essays about news stories after they finished reading and listening to them. The meaning and usage of the key vocabulary were explained before they began writing. It was repeatedly emphasized in the instruction that their writing has to be coherent in order to communicate their ideas successfully. All the process helped them use some of the key words in the news and produce coherent essays.
Key Words: TOEFL iBT, integrated speaking tasks, writing, vocabulary, coherence
1. め
本稿 ， 成20年度大阪市立大学2年生の College English V CE-V 行 た授業の実 践報告 あ 。大阪市立大学 成19年度 英語 キュラム 大幅 変更さ ，1年生，
2年生と 25 程度の少人数 習熟度別 ラス編成 ，必修科目の College English CE 提供さ ことと た。授業時間 ，1年生 年4コ ，2年生 年2コ の合計6コ
充て 。1年生 提供さ CE-I ~ CE-IVの授業
1
主としてネ テ スピー ー 担当し，4技能の基礎力の定着を図 こと 目標とさ てい 。2年生の前期 提供さ CE-V ，日本人講師 て1年時 た4技能の基礎力を ランス く引 上 こと
目標とさ 。今回私 担当した CE-V の中 ベ の 2 ラス ，教材として BBC Understanding the News in English 5 Onoda & Cooker, 2008 のニュースを用い，読 聞く
話 書く を そ2: 4: 1: 3の割合 取 入 た。 ンプットと トプット 分け
，6対4の割合 あ 。両 ラス ， a ニュース 関連 語彙やその同義語の定着 とそ の運用力の向上を図 こと， b ロ 話 こととロ 書くことの相関 性を理解させ，一貫性のあ パラグラフを書け う ことを目標とした
2
。そしてその
42 NODA, Miki
手段として，TOEFL iBT Internet-based Test のスピーキング ョン あ 統合型問題 の形式を準用し，ラ テ ング指導を行 た。
2. TOEFL iBTのスピーキング ョン
2006 年 日本 導入さ た TOEFL iBT ，こ の PBT Paper-based Test ，CBT
Computer-based Test 時代 存在していた文法問題 Structure 削除さ ，新た スピー
キング ョン 設け た。スピーキング ョン ，表1 示 う 2 の 独立型問題 Independent Tasks と4 の統合型問題 Integrated Tasks の合計6問 構成 さ てい 。
表1. スピーキング ョンの構成
形式 問題数 質問概要 時間
独立型問題 Speaking 全2問 Q1：好 とその理由を 明
Q2：2 の選択肢 自分 支持 方を選び，理由を 明
各問 準備：15 解答：45 統合型問題 タ プ１ Reading + Listening + Speaking 全2問
Q3：短い英文を読 ，大学生活 交わさ 会話を聞 ，要点を とめ
Q4：短い英文を読 ，講義の一部を聞いて，見解や法則 具体例 と結び けて 明
各問 準備：30 解答：60
統合型問題 タ プ2 Listening + Speaking 全2問
Q5：大学生活上の会話を聞 ，問題点を 明後，会話 提示さ た 解決策 対 意見を述べ
Q6：大学 の講義を聞 ，主要 見解や法則を要約
各問 準備：20 解答：60
こ の中 特 注目さ の ，統合型問題 あ 。こ ー ングや スニング，
しく その両方と組 合わさ たスピーキング問題 あ ， 験者 読 聞いた し た情報を処理した上 答え 話 こと 求め 。大学という実際の場面 置 換え
，授業 教師 話した内容を，口頭 要約し質問 と ，キャンパスの掲示板 あ 通遉を読 ，そ いて学生同士 話 のを聞いて，その会話 参加し意見を述べ の場面 想定さ 。スピーキングの内容 対 評価 ， ー ングや スニング ンプットさ た情報 左右さ ，内容の構成 整 てい う 要 要素と
てく 。
3. スピーキングの構成力を高め ラ テ ング
TOEFL iBTのスピーキングの評価 ，話し方 Delivery ，言語表現 Language Use ，トピ
ッ 展開 Topic Development の3点 行わ 。このう 言語表現とトピッ 展開 着
目 と，前者 い 効果的 文法や語彙を駆使して自分の意見を伝え てい
，後者 十分 質問 答え てい ，さ 一貫した意見を述べ てい 測 Educational Testing Service, 2007, p.208 。話し方の評価対象と 発音 や 流 暢さ 別 して ，20 30 ，読 聞いた した内容を整理し，質問 的確
Writing Based on the TOEFL-iBT Integrated Speaking Tasks 43
JACET関西支部ラ テ ング指導研究会紀要 第8号 (2009)
一貫した答えを用意 の 簡単 い。たとえあ 程度 ンプットさ た情報を 処理 て ，答え 内容を首尾一貫した の 構成 け ，点数 い の あ 。 の大学 学ぶ8 の日本人学習者
3
の弱点を，彼女た を担当した8 の ネ テ ンストラ ターの聞 取 調査 明 した最近の報告 あ ，日本人学 習者 書く場合 話 場合 自分の言いたいことを表現 の 大変苦労 こと 挙 てい 。書 方 話し方 関 理解 乏しく，訓練 不十分 こと 一因とさ てい Woolbright, Hayashi, & Nishioka, 2006, p.138 。 書く場合 話 場合 共通して 必要と ，主張の基本的 展開方法 ，言い換え Introduction 主張を述べ，Body
根拠を 明し，Conclusion 結論を とめ というスタ ，学生 十分定着してい
いの あ 。そこ この定着を図 ，スピーキングと基本的 同 構造を持 ，主張の 展開手順を目 見て理解しや いラ テ ングを利用 こと 有効 と考えた。話 前 書 く と い う 方 法 ， ス ッ ョ ン の 前 段 階 と し て 試 ン ラ テ ン グ
brainwriting 4 日 本 人 学 習 者 の 発 話 を 誘 発 の 有 効 と 唱 え て い Leather,
1996 こと ，活用 意義 あ う。
4. 授業
4.1 授業内容
授業 そ，以下の1～10の流 行 た。
1. Discuss the topic
2. Understand the key words in the news
3. Answer the comprehension questions in the textbook after watching the news 4. Fill in the blanks in the transcript
5. Read aloud some parts of the transcript
6. Answer the comprehension questions prepared by the teacher 7. Fill in the blanks in the summary
8. Dictation test
9. Write a one-paragraph essay (20 minutes) 10. Revise the essay (homework)
このう ，5, 6, 8, 9, 10 教科書 い テ テ ー ，独自 付け加えた の あ 。
1 ，ニュースの話題その の いて教科書 ーム ップ Warm-up と して呈示さ てい 質問 ， を組 英語 質疑応答をして た ，教師側 英語 の を用意して，そ 答えて た ，ニュースの背景知識の理解やニュ ース の関心を喚起 こと めた。学生 質問を投 け と，1 年時のネ テ スピー ー 授業の成果 と思わ ，単語や短文 あ て 必 答えを返してく 学生 大半 ，沈黙 学生 ほと い た。た ，詳細を尋 質問 答え 続 く学生 少 た。2 ，教科書 ピッ ップさ てい 単語や表現の意味を例文と
共 理解し， ピート ン ッ ップ repeat and look-up 方式
5
， け暗
唱 う した。3 ，ニュース映像と音声 録さ た オを 2～3 回見た上 ， 内容理解のための付属の問題 解答して い，4 ，映像の いニュース音声 けを 2
～3 回流してトランス プトの空欄を埋め 作業を実施した。次 5 ，主 ニュース