評価結果に基づく意見文の特徴
ー評定値・評価コメント・意見文の分析ー
伊集院郁子
(東京外国語大学大学院国際日本学研究院)
作文研究2018シンポジウム
第1部 テーマ:「作文研究の多様性」
2019年1月13日(日) 10:00~17:30 早稲田大学早稲田キャンパス3号館601教室 科研費による共同開催:課題番号18K00680,16K02795,16K16885,17H02351,16K02794日本語学習者の作文と日本語母語話者
の作文はどこが違うのか。
これまでの私の
主な関心
作文コーパスを利用した
私の
研究の紹介
「日本語学習者による日本語作文と,その母語訳との対訳データベース」
http://contr-db.ninjal.ac.jp/➢伊集院・髙橋(2004) 日本語学習者(中国)と日本語母語話者の文末モダリティ
➢髙橋・伊集院(2006) 日本語学習者(中国)と日本語母語話者の疑問文
➢伊集院・髙橋(2010) 日本語学習者(韓国)を加えた分析および最終文の特徴
「日本・韓国・台湾の大学生による日本語意見文データベース」
http://www.tufs.ac.jp/ts/personal/ijuin/terms.html
➢伊集院・髙橋(2012) 日本語学習者(韓国・台湾)と日本語母語話者の文章構造(主張の位置)
➢伊集院・盧(2015) 日本語母語話者と韓国語母語話者と韓国人日本語学習者の文章構造とタイトル
“The Corpus of Multilingual Opinion Essays by College Students: MOECS”
http://www.u-sacred-heart.ac.jp/okugiri/links/moecs/moecs.html
➢Okugiri,M., Ijuin, I. & Komori, K.(2017a, b) 英語母語話者と日本人英語学習者を主な対象に
「と思う」「と考える」 vs I think, 「例えば」 vs For example
「良い作文」についてどんなことが
わかっているか。
作文の特徴が見えても,
それがどう評価されて
いるのかはわからない。
先行研究から「良い作文」について言えそうなこと
何を良いと考えるかは
文章のジャンル
:「天声人語」 (Hinds 1990),新聞投書(木戸1992),新聞社説(メイナード 2004)
書き手の母語
:日本語と英語の母語話者作文(Kobayashi 1984, Oi 1986, 杉田 1995)
時代背景
:2000年代以降(佐々木 2001, Lee 2006, 伊集院・髙橋 2012)
評価する人の属性
:日本語教師と一般日本人(田中他 1998a,b)
日本語教員間の多様性(田中・長阪 2009,田中・坪根2011)
日本語教員と専門教員(深澤 1994, 長谷川2008)
など、
さまざまな要因
が関わる。
近年、大学生が日本語で書いた意見文は
大学教員にどのように評価されているのか。
本発表で紹介したいこと
1. 大学生が書いた日本語意見文に対して大学教員が付与した
評点(評定値)
と
評価コメント
から意見文評価についてどんなことが言えるか。
①: 評点の分析
②-1: 評価コメントの共起ネットワーク分析
②-2: 評価コメントのコーディング
→コードのコレスポンデンス分析
2. 良い意見文,悪い意見文,評価が分かれる
意見文
には
どんな特徴があるか。
③: 意見文の言語・構成的側面の分析
http://jhlee.sakura.ne.jp/sakubun/
目的区分
属性
人数
意見文の
評価者
日本語教員
(J)
22名
専門教員 (人文社会系)
(S)
22名
意見文の
執筆者
日本人(大学生)
(NS)
15名
日本語学習者(大学生)
(NNS)
15名
(中・韓・英,各5名)
評価者と評価対象として用いた意見文
データ●評価者:日本の大学で3年以上教える日本語教員
(J) 22名
専門(人文社会系)教員(S)
22名
●依頼内容:
意見文30編に対し
①5段階
評定値
(非常によい/よい/ふつう/あまりよくない/悪い)の付与
②評価を決定づけたポイント(良い点・悪い点)の記述(以下,
評価コメント
)
※日本の大学に入学したばかりの1年生(留学生を含む)を想定
良い点,悪い点どちらか一方しかない場合は「特になし」と記述
半日(5~6時間)を確保して作業することを依頼
評価者への依頼内容
計44名
データ①
「日本・韓国・台湾の大学生による日本語意見文データベース 」
★「インターネット時代における新聞」をテーマに1時間以内で800字程度,
辞書なしという条件で執筆。学習者は日本語能力N2以上。
→日本語母語話者10名分,韓国語母語話者5名分,中国語母語話者5名分
②
“The Corpus of Multilingual Opinion Essays by College Students : MOECS”
★ ①と同条件で,英語母語話者による英語及び日本人英語学習者による英
語,英語母語話者による日本語を追加したもの
→英母語話者5名分
③ 作文の多様性を確保するために新たに①②と同条件で追加収集したもの
→日本語母語話者5名分
評価対象として用いた意見文
データ意見文執筆時の課題文
下の文を読んで,自分の意見を800字ぐらいの日本語で書いてください。
*****************
今,世界中で,インターネットが自由に使えるようになりました。ある
人は「インターネットでニュースを見ることができるから,もう新聞や雑
誌はいらない」と言います。一方,「これからも,新聞や雑誌は必要だ」
という人もいます。
あなたはどのように思いますか。あなたの意見を書いてください。
データ大学生が書いた日本語意見文に対して
大学教員が付与した評点(評定値)から
どんなことが言えるか。
結果①: 評点(評定値)の分析結果
評価者分類
平均点(5点満点中)
標準偏差(平均)
日本語教員(J)
3.04
0.89
専門教員(S)
3.24
0.82
全体
3.14
0.87
評価者群別の評点結果
⇒評点に基づき,30編の意見文を得点順に
上中下の3群
に分類
意見文分類
評点
標準偏差
上位群(10編)
3.77-4.59
0.58-1.13
中位群(10編)
2.70-3.36
0.74-1.05
下位群(10編)
1.80-2.66
0.76-0.97
結果意見文30編の群分けと執筆者
評定値の分析結果
意見文分類
NS
NNS
計
上位群
9(JP)
1 (TM)
10
中位群
5(JP)
5(KR:3、TM:1、AU:1) 10
下位群
1(JP)
9(KR:2、TM:3、AU:4) 10
NS :日本語母語話者
NNS:日本語学習者
JP :日本語母語話者意見文
TM:中国語母語話者意見文
KR :韓国語母語意見文
AU:英語母語話者意見文
結果得点群別・評価者別 評定値の分析結果
上位群
中位群
下位群
評点
日本語教員(J)
4.05
2.89
2.19
専門教員 (S)
4.29
3.11
2.32
全体
4.17
3.00
2.25
標準偏差
日本語教員(J)
0.91
0.92
0.84
専門教員 (S)
0.76
0.82
0.87
全体
0.85
0.89
0.86
標準偏差が1.0以上:4編(得点順8,9,10位のJPが3編と18位のAUが1編)
標準偏差が0.5以下: 日本語教員は得点順1位のJP
専門教員は得点順2位のJP
全体の標準偏差が最も低いもの:得点順1位のJP(SD:0.58)
結果大学生が書いた日本語意見文に対して
大学教員が付与した評価コメント(良い点・
悪い点)の共起ネットワーク分析によって
評価コメントの全体像を捉える。
➢KH Coderを用いて「評価コメント」(延べ105,057字/
65,088語)の共起ネットワークを視覚的に捉える
開発者:樋口耕一氏 http://khcoder.net/dl.html
⇒評価者ごと(日本語教員・専門教員)
意見文の得点群ごと(上位群・中位群・下位群)
評価の観点ごと(良い点・悪い点)
結果②-1: 評価コメントの共起ネットワーク分析(李ほか2018等)
方法日本語教員(良い点) 全体の構成はわかりやすく一貫 性があり、各段落の主張と根拠も 簡潔にまとめられている。また、 意見文にふさわしい語彙や文法 が選択されており、誤りもほとん どない。 専門教員(悪い点) 誤字が多く、文意が不明である。 また根拠が感覚的で、主張の理 由にはならない。もっと客観性が 欲しい。
評価者ごと(日本語教員・専門教員)
共通点:表現,意見,根拠,構成,主張,内容,理由 専門教員:展開,論理,論点,情報,客観,日本語 日本語教員:意味,段落,語彙,文法,表記 結果上位群(良い点) 構成がよく練られており、一読しただ けで内容がわかりやすい。論拠に基 づく主張が展開されており、論理展開 に一貫性がある。 中位群(良い点) 日本語表現が自然で,結論を提示し たあとその理由を述べていて説得力 がある。 下位群(悪い点) カタカナ、漢字など表記ミスが多い。 論拠の中に、筆者の一方的な決めつ けだと思わせたり、情緒的だと思わせ るような表現がある。まとめ方が抽象 的すぎるなど、説得力に欠けると感じ させる箇所がある。タイトルと内容と の関係もわかりにくい。
意見文の得点群ごと
共通点:表現,意見,根拠,主張,理由 上位群:論理,論拠,明確 中位群と下位群:語彙,漢字 下位群:日本語,文法,多い,誤り 結果良い点 新聞等とインターネットの双方の利 点を認めた上で,雑誌等のよさを 具体的に述べている。 悪い点 自己の体験以外の根拠となる事実 に乏しいため、根拠が弱く論理性 に欠ける。 段落 悪い点 新聞 理由 文章 雑誌 根拠 内容 インターネット 語彙 論拠 部分 文法 漢字 最後 主観 主張 表現 意見 構成 説得 説明 意味 必要 ---cell---述べる 読む 書く 思う 感じる 見る 欠ける 多い 弱い 文 良い点 論理 自分 具体 複数 結論 一貫 明確 挙げる 分かる 特に
評価の観点ごと
良い点:複数,明確,一貫,具体,論理 悪い点:主観,論拠,文法,表現,漢字, 弱い,欠ける,多い, 結果大学生が書いた日本語意見文に対して大学教員が付与した
評価コメントから評価の観点を抽出してコレスポンデンス分析
することによって評価の観点と執筆者の母語,意見文レベル,
評価者の属性との対応関係を把握する。
評価の観点の抽出(コーディング)
➢評価コメント
(総文字数:「良い点」40,242字,「悪い点」64,815字,計105,057字)を
意味的まとまりを単位にリライトし,各リライトをコード化。
その後,
コレスポンデンス分析
によって項目間の関係を視覚化。
コード化のステップ1
:評価コメントを意味的なまとまりでリライト
原文「
構成
がよく練られており,一読しただけで
内容
がわかりやすい」
⇒リライト「
構成
がよく練られている」/「一読しただけで
内容
がわかりやすい」
コード化のステップ2
:各リライトをコード化(コードの生成,定義)
リライト「
構成
がよく練られている」/「一読しただけで
内容
がわかりやすい」
⇒コード生成 “
構成(段落間)
”/“
内容(論旨)
”
⇒コード定義「
内容(論旨)
は論旨や論点の明確さや一貫性に着目したコメント」
「
構成(段落間)
は序論,本論,結論などの全体的な構成(内容の配置)
に着目したコメント」
方法評価コメントのリライト基準
①原則として,「節」を1単位として切片化する。
例:「主張がはっきりしており,論拠も客観的,論理的である。」
→「主張がはっきりしている。」,「論拠が客観的である。」,「論拠が論理的である。」
②評価者の着目点が複数含まれる場合は,着目点ごとに切片化する。
例:「文法も語彙も誤りがない。」 →「文法は誤りがない。」,「語彙は誤りがない。」
③複数の節からなる場合でも,評価者の着目点が1つのみの場合は,全体で1単位とする。
例:「新聞で得られる情報はネットで得られると述べているが,ネットは新聞・雑誌の情報に
頼っていることが多いため,理由として納得しがたい。」
方法評価コメントのリライト基準
④複数の節からなる場合でも,分かりやすく言い換えたり具体例を示したりする
ために,評価者が同じことに繰り返し言及していることが明らかな場合は,主要でない節
は削除し,全体で1単位とする。
例:「文末表現が「思う・思っている」ばかりである点。意味的に,2段落目の最後の文は,
「思われる・考えられる」にしないといけないのではないか?」
→「文末表現が「思う・思っている」ばかりである点。意味的に,2段落目の最後の文は、
「思われる・考えられる」にしないといけないのではないか?。」
⑤複数の節からなる場合でも,原因・理由が,結果の詳述や具体例となっている場合は,
主要でない節は削除し,全体で1単位とする。
例:「利点の1つ1つはインターネット記事にも当てはまることなので,効果的な論拠になっ
ていないように見受けられた。」
→「利点の1つ1つはインターネット記事にも当てはまることなので,効果的な論拠になっ
ていないように見受けられた。」
方法評価コメントのコード一覧
10カテゴリー
(全33項目)
「
言語
」(表現力,文体,文法,語彙,接続,表記,誤用)
「
内容
」(論旨,立場,根拠,状況把握,譲歩,反論,問題提起)
「
構成
」(段落間,段落内,バランス,立場,根拠,状況把握,
譲歩,反論,問題提起)
「
形式
」(文字数,原稿用紙,書字,句読点)
「
題
」,「
書き手
」,「
読み手
」,「
印象
」,「
分類不能
」,「
なし
」
⇒延べ5,798コード(「良い点」2,675コード,「悪い点」3,123コード)を抽出。
そのうち,出現数上位4カテゴリーの「
内容
」「
言語
」「
構成
」「
形式
」に焦点を当て,
それぞれの「良い点」「悪い点」を含めた計8項目,5,125コードについてコレスポンデンス
分析を行い,項目間の関係を視覚化
方法執筆者の母語との対応
結果②-2: 評価コメント(コード)のコレスポンデンス分析(伊集院ほか2018)
英語 韓国語 中国語 日本語 総計 内容 156 202 198 939 1495 言語 12 27 34 254 327 構成 39 93 83 243 458 形式 5 8 10 29 52 内容 229 147 193 542 1111 言語 329 389 299 254 1271 構成 46 17 29 185 277 形式 32 25 24 52 133 848 908 870 2498 5124 総計 評価の観点 良い点 悪い点 執筆者の母語日本語母語話者は
構成
を,学習者は
言語
を,
改善する必要がある。
英語母語話者は
形式
についても改善の余地
がある。
結果意見文の得点群との対応
結果②-2: 評価コメント(コード)のコレスポンデンス分析(伊集院ほか2018)
評価コメントの例 上位群: 「自分の立場を明らかにしている。【内容(立場)】」, 「インターネットが情報収集の中心になりつつあることを認めて いる。【内容(譲歩)】」, 「分かりやすい論理構成である。【構成(段落間)】」,「日本語も 適切である。【言語(表現力)】」,「文字数も守られている。【形式 (文字数)】」 中位群: 「論拠が主観的である。【内容(根拠)】」, 「突然インターネットの利点から始まっているが,唐突な印象を 受ける。【構成(根拠)】」 下位群: 「語彙など表現力に問題がある。【言語(語彙)】」, 「題目の項目があるのにも関わらず書き出しを2行空けている。 【形式(原稿用紙)】」 結果専門教員 日本語教員
結果②-2: 評価コメント(コード)のコレスポンデンス分析(伊集院ほか2018)
上・下位群については専門の相違による影響は見られない。
中位群については評価の
基準に相違
がある可能性がある。
日本語教員は「形式」
,
専門教員は「構成」の悪さ
に対
する注目度が低い。
結果良い意見文,悪い意見文,評価が分かれる意見文には
どのような特徴があるか。
良い作文にみられる言語的特徴
について日本語文章解析システム
jReadability
(李 在鎬・長谷部 陽一郎)を用いて意見文30編の
読みやすさを1(高い)~6(低い)で推定すると同時に,意見文
の読みやすさを計算するために使用した総語数や語種の頻度,語
彙難易度の頻度別データなど,テキスト情報量も合わせて出力
➡異なり語数(r=.512, p<.01)
内容語(r=.512, p<.01)
中級後半レベルの語彙(r=.635, p<.01)
上級前半レベルの語彙(r=.515, p<.01)
漢字(r=.729, p<.01
総文字数(r=.601, p<.01)と相関あり
結果③: 良い意見文の指標になりうる言語的特徴(伊集院ほか2017)
結果作文の異なり語数,内容語数,中級後半レベルの語彙数,上級前半レベルの語彙数,
漢字使用率,総文字数
・大学1年生としての日本語力が想定されている
・作文課題が「インターネット時代における新聞」をテーマにした論述型の意見文である
・上級後半語は,30編中24編で出現数がゼロ
➡上級後半語はアカデミックな文章においても出現しにくい?
➡留学生への日本語教育では,大学入学までに中級後半から上級前半レベルまでの
語彙を確実に定着させ,入学後には各自の専門に応じて必要な語彙を習得していく
のが良いのではないか。
一方で,初級前半語,初級後半語,上級後半語,和語,外来語,総文数とは相関なし。
良い意見文の指標となりうる言語的特徴
結果文体について言えそうなこと(※分析途上の数値)
• 文末も文中も,文体の統一ができないと点数が下がる要因になりうる。
• 特に日本語教員による指摘が多い。
例:「文体に統一性がない。」「話し言葉が混在する。」「アカデミックな文体としては,ふさ
わしくない「ぐしゃぐしゃ」「バリバリ使える」などがある。」
※上位群の文中不統一の例: だ・である体の中での「けれども」「そういうわけで」「パッとみて」「見れる」などの使用 ☝文体統一をどの程度厳しく判断するか 普通体基調 丁寧体基調 総計 文末統一 文中統一 上位群 9 1 10 10 7 中位群 5 5 10 6 4 下位群 6 4 10 5 0 合計 20 10 30 13 11 文体 分類構成面について言えそうなこと(※分析途上の数値)
頭尾型 中尾型 尾型 分散型 頭型 合計
上位群
5
2
2
1
0
10
中位群
4
2
4
0
0
10
下位群
3
3
1
2
1
10
合計
12
7
7
3
1
30
※頭:第一段落
尾:最終段落
中:頭と尾以外
伊集院・高橋(2012)の分類参照
構成・内容面について言えそうなこと(※分析途上の数値)
頭尾型
中尾型
尾型
分散型
頭型
合計
上 中 下 上 中 下 上 中 下 上 中 下 上 中 下a.新聞必要論
4 4 1 0 1 2 0 1 0 0 0 2 0 0 1
16
b.ネット支持論
1 0 0 0 1 1 0 1 0 0 0 0 0 0 0
4
c.新聞・ネット両立論
0 0 0 0 0 0 2 1 0 0 0 0 0 0 0
3
d.複数論(a→c)
0 0 1 1 0 0 0 0 1 0 0 0 0 0 0
3
e.その他
0 0 1 1 0 0 0 1 0 1 0 0 0 0 0
4
合計
5 4 3 2 2 3 2 4 1 1 0 2 0 0 1
30
典型例
上位群の例
参考文献
• 伊集院郁子・高橋圭子(2004)「文末のモダリティに見られる"Writer/Reader visibility"-中国人学習者と日本語 母語話者の意見文の比較-」『日本語教育』123号 pp.86-95 • 伊集院郁子・高橋圭子(2010) 「日本語の意見文に用いられる文末のモダリティ―日本・中国・韓国語母語話者 の比較―」『東京外国語大学留学生日本語教育センター論集』36号 pp.12-27 • 伊集院・高橋(2012) 「日本・韓国・台湾の大学生による日本語意見文の構造的特徴-『主張』に着目して-」 『東京外国語大学国際日本研究センター日本語・日本学研究』Vol.2 pp.1-16 • 伊集院郁子・盧妵鉉(2015)「日韓の意見文に見られるタイトルと文章構造の特徴-日本語母語話者と韓国語 母語話者と韓国人日本語学習者の比較-」『社会言語科学』18巻1号 pp.147-161 • 伊集院郁子・李在鎬・野口裕之・小森和子・奥切恵(2017)「IRT系モデルとReadabilityによる日本語作文の定量 的分析―大学教員による評価とコンピュータによる自動評価の比較―」『2017年度日本語教育学会秋季大会予 稿集』 pp.214-219 • 伊集院郁子・李在鎬・小森和子・野口裕之(2018)「意見文に対する評価コメントの計量的分析―コレスポンデン ス分析に基づく考察―」『2018年度日本語教育学会秋季大会予稿集』 pp.324-329 • 李貞旼(2008)『韓日新聞社説における「主張のストラテジー」の対照研究』ひつじ書房 • 木戸光子(1992)「文の機能に基づく新聞投書の文章構造」『表現研究』55号 pp.9-19参考文献
• 佐々木泰子(2001)「課題に基づく意見の述べ方-日本人大学生の場合・日本語学習者の場合-」『日本語教育のた めのアジア諸言語の対訳作文データの収集とコーパスの構築』平成11年度~12年度科学研究費補助金基盤研究(B) (2)研究成果報告書(課題番号11691041) pp.219-230 • 杉田くに子(1995)「日英対照レトリック-文章の流れはいかに分節されるか-」『アメリカカナダ大学連合日本研究セ ンター紀要』18号 pp.35-50 • 高橋圭子・伊集院郁子(2006)「疑問文に見られる“Writer/Reader visibility”-中国人学習者と日本語母語話者の意見 文の比較-」『日本語教育』130号 pp.80-89 • 田中真理・坪根由香里(2011)「第二言語としての日本語小論文におけるgood writing評価―そのプロセスと決定要因」 『社会言語科学』14巻1号,pp.210-222 • 田中真理・長阪朱美(2009)「ライティング評価の一致はなぜ難しいか:人間の介在するアセスメント」『社会言語科学』 12巻1号 pp.108-121 • 田中真理・初鹿野阿れ・坪根由香里(1998)「第二言語としての日本語における作文評価-『いい』作文の決定要因 -」『日本語教育』99号 pp.60-71 • 田中真理・初鹿野阿れ・坪根由香里(1998)「第二言語としての日本語における作文評価基準:日本語教師と一般日本 人の比較」『日本語教育』96号 pp.1-12. • 長谷川哲子(2008)『誤用とその問題点の分析に基づいた日本語アカデミックライティング教材の開発』平成18年度~ 19年度科学研究費補助金(基盤研究(C))研究成果報告書(課題番号18520415) • 深澤のぞみ(1994)「科学技術論文作成を目指した作文指導―専門教員と日本語教師の視点の違いを中心に―」『日 本語教育』84号 pp.27-39参考文献
• メイナード・K・泉子(2004)『談話言語学-日本語のディスコースを想像する構成・レトリック・ストラテジーの研 究』くろしお出版 • Lee凪子(2006)「留学生の書く日本語意見文の分析-日本人学生との比較において-」『山口幸二先生退職 記念集』立命館大学法学会 pp.399-412 • 李在鎬・伊集院郁子・小森和子(2018)「決定木分析と共起ネットワークに基づく意見文へのコメント分析」『第 29回第二言語習得研究会(JASLA)予稿集』• Hinds, J. (1990). Inductive, Deductive, Quasi-Inductive: Expository Writing in Japanese, Korean, Chinese, and Thai. In Connor, U. & Johns, A. M. (Eds.), Coherence in Writing: Research and Pedagogical Perspectives. pp. 87-109. VA: TESOL, Alexandria.
• Kobayashi, H. (1984). Rhetorical Patterns in English and Japanese. TESOL Quarterly, 18(4), pp.737-738.
• Oi, M. K. (1986). Cross-Cultural Differences in Rhetorical Patterning: A Study of Japanese and English. 大学英語 教育学会紀要,17,pp.23-48.
• Okugiri, M., Ijuin, I. & Komori, K.(2017a)The overuse of "I think" by Japanese learners and
"to-omou/to-kangaeru" by English learners in essay writing. Conference Proceedings PacSLRF 2016, Japan Second Language Association, pp.163-168.
• Okugiri, M., Ijuin, I. & Komori, K. (2017b)The Use of “For Example” by Japanese Learners of English in Opinion Essays. 聖心女子大學論叢,pp.3-19.