上級聴読解試験の評価
― 学習者の聴読解能力を適正に反映する問題とはどのような問題か ― 坂本 惠・中村則子・大木理恵
（2008. 10. 31 受）
【キーワード】 聴読解、独話、識別指数、4 肢択一問題、スタンダーズ
0 はじめに
2005 年度から発足した「聴解プロジェクト」で蓄積された数多くの教材のうちい くつかを聴読解用試験として再開発した。それらの試験問題は、2006 年度から 1 年コースの試験として使用されている。試験の作成メンバーは、坂本惠（責任者）、
非常勤講師の中村則子、大木理恵である。本稿では、聴読解試験の概要と、テスト の結果分析を報告し、学習者の聴読解能力を適正に反映することのできる問題とは どのような問題なのかを考察する。
1 聴読解試験の概要
2006 年度から 1 年コースの試験として試用されている試験は聴読解試験、つま り解答選択肢が比較的長い文字列で提示されていること、及び、被験者が聞く問題 スクリプトが独話形式であること（「JLC 日本語スタンダーズ」i の「聞く」に準拠）、
選択問題（主に 4 肢択一問題）であることが大きな特徴である。また、スタンダー ズ「聞く」の行動目標である、メモを取る、要約を作るなどのスキルが身に付いて いるかどうかを測定することも一つの特徴である。大学の学部で学ぶための力がつ いているかどうかを測るためのテストで、アカデミック・ジャパニーズに限定した ものとなっている。レベルとしては、日本語能力試験 1 級程度であると考えられる。
2 分析用聴読解試験のデータ
本稿での分析に使用するデータは、2006 年度と 2007 年度に使用した聴読解試験 の共通部分である。大問が 7 つで、それぞれの大問の中に質問項目（以下項目）が
東京外国語大学
留学生日本語教育センター論集 35：103〜109，2009
――――――――――――――――――――
i 東京外国語大学留学生日本語教育センターで策定した「JLC 日本語スタンダーズ」。詳細は
『JLC 日本語スタンダーズ 中間報告 2007』
いくつかあり、合計の項目数は 47 である。各項目は全て選択問題である。質問内 容は、大意を問うもの、キーワードを聞き取るもの、表記問題、音韻問題、具体的 な例を聞いて抽象化された内容を選ぶもの、抽象化された話を聞いて正しい具体例 を考えるものなどである。
被験者は、2006 年度 1 年コースの学生 65 名、2007 年度 1 年コースの学生 56 名、
および 2007 年度全学日本語プログラムii の上級レベルである 600、700 の学生 21 名の合計 142 名である。
3 聴読解試験の評価
3．1 テスト全体としての信頼性
本稿で分析するテスト全体（2006 年度、2007 年度の共通部分）としての得点分布 を図 1 に示す。縦軸は人数、横軸は得点（項目 47 のため、満点を 47 点とする）を表 す。最低得点者は 18 点で、最高得点者は、満点の 47 点で 3 人であった。ピークは 38 点の 14 名で、ほぼ正規分布を示している。
人 数
得点 図 1 聴読解テスト成績分布
――――――――――――――――――――
ii 東京外国語大学に在籍する非正規生のために開かれたプログラム（日本語教育センター所 属の学部進学予備教育の学生を除く）。学生の身分は以下のように分けられる。①国費研究 留学生②短期留学の学生③日本語日本文化研修留学生④研究生⑤大学院正規生（PCS:Peace and Conflict Studies 平和構築・紛争予防専修コースの学生）
このテストの信頼性を測るために、クロンバックのアルファ係数を求めたところ、
0.825 という数値が得られた。通常十分であるとされる信頼性係数の目安は 0.8 であ ることから、今回得られた数値は適正であり、このテストの信頼性は高いことが確 認された。
3．2 識別指数
次に、各項目の全体に対する貢献度を表す識別指数を検討する。識別指数は、0 から 0.19 のものは、ほとんど相関がない、0.20 から 0.39 のものは弱い相関、0.40 か ら 0.60 のものは中程度の相関があるとされる。中程度の相関があった項目、つまり、
学生の聴読解能力を適正に反映していると思われるものは全 47 項目のうち 12 項目 であった（表 1 参照）。また、ほとんど相関が見られなかった項目は、6 項目であっ た（表 2 参照）。
4 問題の分析
4．1 識別指数の高い項目、低い項目
識別指数の高い項目、低い項目がどんな問題であったのかを以下 3 つの観点から 見ていく。
①選択肢の形式 2 択か 4 択か
②選択肢の長さ
③正答の選択肢が問題スクリプトで使われた表現と同じ表現かどうか
表 1 識別指数の高かった項目 識別指数 正答率 選択肢の
形式 選択肢の
文字数 正答の選択肢と問 題スクリプトが同 じ表現かどうか
問題の内容
問題 6 0.52 0.65 4 択 33 ○ 部分聞き取り
問題 12 0.41 0.84 4 択 16 ○ 部分聞き取り
問題 13 0.45 0.76 4 択 17 × 部分聞き取り
問題 24 0.41 0.63 4 択 25 × 部分聞き取り
問題 26 0.47 0.58 4 択 24 × 部分要約
問題 27 0.47 0.60 4 択 76 × 部分要約
問題 37 0.41 0.63 4 択 21 × 部分要約
問題 38 0.40 0.58 4 択 30 × 部分要約
問題 41 0.44 0.63 4 択 29 × 部分要約
問題 43 0.40 0.79 4 択 27 × 部分要約
問題 45 0.40 0.83 4 択 27 × 部分要約
問題 47 0.49 0.54 4 択 170 × 内容理解
表 2 識別指数の低かった項目 識別指数 正答率 選択肢の
形式 選択肢の
文字数 正答の選択肢と問 題スクリプトが同 じ表現かどうか
問題の内容
問題 2 0.16 0.87 4 択 6 ○ 表記
問題 4 0.16 0.45 4 択 5 ○ 音韻
問題 7 0.14 0.89 4 択 13 × 見出し付け
問題 23 0.19 0.96 4 択 28 × 大意を問う
問題 28 0.19 0.94 2 択 7 ○ 内容理解
問題 42 0.18 0.97 4 択 4 ○ 表記
4．2 解答選択肢の形式
全 47 項目のうち、4 択の問題は 34 項目、2 択の項目は 9 項目であり、残りの 4 項 目はその他の形式である。識別指数が高かったもの 12 項目は、すべて 4 択であった。
低かったもの 6 項目のうち 1 項目が 2 択であった。しかし、今回の調査からは、ど ちらが聴読解問題に適切であるか、断定的なことは言えない。
4．3 解答選択肢の長さ
識別指数が中程度のもの（12 項目）、弱いもの（29 項目）、ほとんど無いもの（6 項 目）の選択肢の長さの平均を比べてみると、中程度のものの選択肢の長さは 41.3 文 字、弱いものの選択肢の長さは 20.2 文字、ほとんどないものの選択肢の長さは 10.5 文字、であった。この結果からもわかるように、選択肢の文字数が多いほど識別指 数が高くなっている。
4．4 問題スクリプトと解答選択肢
識別指数が高いもの 12 項目の中で、10 項目の選択肢に含まれる表現が問題スク
リプトと異なるものであった。「異なる」というのは、具体的に以下のような場合で ある。
①問題スクリプトで個別の例や、詳しい説明を聞き、選択肢ではその内容を短くま とめたり、違う表現に変えてあるものを選ぶ（7 項目）
例： 問題スクリプト： お酒を飲まないローティーンや女性にも親しまれ、利用 者が一気に拡大しました。
正答選択肢の文：お酒を飲まない人もカラオケを楽しむようになった。
②問題スクリプトで全般的説明を聞き、選択肢で個別の例を類推して選ぶ（1 項目）
例： 問題スクリプト： 時計の表示は・・・（中略）・・・「うるう秒」の 1 秒が増え ると、59 分 60 秒という表示があります。
正答選択肢の文： 時計の前へ行ってシャッターを押したときちょうど 8 時 59 分 61 秒だった（誤った答えを選択する問題）。
③ 問題スクリプトで聞いた説明の順番と、選択肢での説明の順番が違う（1 項目）
例： 問題スクリプト： 畳は、上の部分と下の部分に分けられます。下の部分は、
5 センチほどの厚さがあり、・・（後略）
正答選択肢の文： 上下二つの部分から成り、上の部分は、・・（後略）
④問題スクリプトでは言っていないことが選択肢に書かれている（1 項目）
識別指数が低いもの 6 項目のうち 4 項目は、問題スクリプトで聞いた通りの表現 が正答選択肢で使われていた。残りの 2 項目は、問題スクリプトの文と正答選択肢 の文が違うものである。問題の内容は、大意を問うものと、見出しをつけるもので あった。
5 考察
5．1 識別指数に基づいた考察
識別指数が低い項目 6 項目のうち、音韻、表記に関連するものが 3 項目であった。
このうちの 2 項目は、正答率が高かった（87 ％、97 ％）ために、識別指数が低くなっ たと思われる。残りの 1 項目は、正答率が低い（45 ％）にもかかわらず、識別指数 が低かった。ほぼ全員が正答で差が出なかったり、高得点者の間違いが多いなどの ことが原因となり、適正な結果が出なかったと考えられることから、音韻、表記に 関する問題は、被験者の聴読解能力を測る材料には適さないことが示唆された。
また、大意を問う、あるいは、見出しをつける問題は、正答率がそれぞれ 89 ％、
96 ％と高かったことにより、識別指数が低くなった。つまり、この結果は、上級 レベルになると、大意や文章全体の見出し付けが選択問題として出題された場合は、
困難度が低いことを示唆している。ただし、選択できるからといって、自分で大意 をまとめたり、見出しをつけたりすることができるとは限らない。選択式の問題で は限界があるようである。今後の検証が必要である。
識別指数が中程度の項目 12 のうち、10 項目が、聞いた音声をそのまま記憶すれ ば正しい答えに結びつくのではなく、聞いた内容を正しく理解しないと答えられな いものであった。つまり、問題スクリプトで個別の例や、詳しい説明を聞き、選択 肢でその内容をまとめたり、違う表現に変わった文を選択するもの、あるいはその 逆で、問題スクリプトで全体的な説明を聞き、選択肢で個別の例を読み、それが正 しいかどうか判断するというものである。これらの項目の正答率が平均約 60 ％で あり、このような問題は被験者の聴読解能力を測るために有効であると考えられる。
5．2 インタビューからの考察
本試験は、「読みながら聞く」という日本語の授業では余り訓練しない状況で行わ れるためか、一般の聴解試験では高得点をとっても、この試験ではそれほど得点で きなかった被験者がいた。一方、聴解試験より高得点を得た被験者もいた。これら の学生にインタビューしたところ、以下のような意見が聞かれた。
〈聴解試験は高得点だが、聴読解試験では得点が低かった学生〉
・ 聴解なら聴解だけ、読解なら読解だけであれば集中できるが、両方同時に行うの は、苦手である。
・ 読む時間が足りなかった。漢字の力が足りないせいかもしれない。もともと速く 読むのは苦手である。
・ 自由に答えを書く形式のほうが答えやすい。
・ 自分の国では、聞くときには何も書いたり読んだりせずに聞かなければ、失礼に なると指導されてきた。
〈聴解試験は得点が低いが、聴読解試験で高得点だった学生〉
・ 聞いただけではわからないことがあったときに、問題を読むことが助けになった。
実際の講義では、資料やパワーポイントなどを見ながら聞くことが多いので、読 みながら聞く能力を高めるような訓練も必要である。したがって、聞いた内容を理 解し、読んで得た情報を内容理解に役立てることができるような力を養成する授業 および、そのような力を測る試験が今後ますます求められると思われる。
6 おわりに
この聴読解試験は新しい形式の試験の試みであるが、試験全体の信頼度は確認さ れたと考えられる。個々の問題については、どのような問題が識別指数が高いかに ついて結果が得られた。この試験を開発して 3 年がたち、今年度からは、この試験 で測っているような力を養成する授業も始まっている。今回得られた知見を元に、
試験もさらに改良していきたいと思っている。
参考文献
島田めぐみ（2004）「日本語聴解テストの項目正答率に影響を与える要因」『東京学芸 大学紀要 2 部門 55』pp.39-46
内田照久他（2002）「英語リスニング・テストにおける音声の時間構造と提示情報の 様式が項目特性に与える影響」『教育心理学研究 50』pp.1-11
伊東祐郎（2008）『留学生の日本語能力測定のためのテスト項目プールの構築』（平成 16 年度〜平成 19 年度 科学研究費補助金 基盤研究（A） 研究成果報告書）
