事例研究論文
英語文章要約パターンの教育測定学的検討
—
削除・一般化・統合のプロセスに着目して
—
Evaluation of Summarizing Patterns When Reading English
Passages: Based on Educational Measurement
寺尾 尚大
1,2，石井 秀宗
1Takahiro Terao
1,2and Hidetoki Ishii
11
名古屋大学，
2日本学術振興会
1
Nagoya University,
2Japan Society for the Promotion of Science
Correspondence concerning this article should be sent to: Takahiro Terao, Nagoya University.
Furo-cho, Chikusa-ku, Nagoya, Aichi, Japan 464-8601. E-mail: [email protected] Current affiliation: Research Division, The National Center for University Entrance Examinations. 2-19-23, Komaba, Meguro-ku, Tokyo, Japan 153-8501. E-mail: [email protected]
英語文章要約パターンの教育測定学的検討
―削除・一般化・統合のプロセスに着目して―
寺尾 尚大
1,2，石井 秀宗
1 1名古屋大学，
2日本学術振興会
本研究の目的は，記述式の英語文章要約問題を用いて，要約文における解答パターンを能力群別に検討することで あった．認知心理学において提唱されている文章要約モデルを踏まえて，要約問題として1)要約に必要のない情報を 削除する過程に焦点を当てた問題(指定段落要約問題・削除)，2)文章中で並列されたことがらをより上位概念の語に 置き換える過程に焦点を当てた問題(指定段落要約問題・一般化)，3)段落の内容を代表するような文 (トピック・セ ンテンス)を作成する過程に焦点を当てた問題(指定段落要約問題・統合)，4)文章全体要約問題の4種類を作成した． 大学生60名に対して英語文章要約問題への解答を求めた後，研究協力者3名に受検者の要約文の分類を求めた．ト レースライン(解答率分析図)を描出した結果，能力低群の受検者が作成した要約文には，重要でない情報が混入して いる，具体的な記述をそのまま含めているなど，削除・一般化に関連した特徴が見られた．一方，能力中群の受検者の 要約文には，筆者の意図から逸脱した表現を含めている，対比的に述べられている記述のうちの一方に重きを置いてい るなど，統合に関連した特徴が見られた．本研究から得られた知見により，受検者の誤答情報をテスト問題や採点基準 の作成などに活用できる可能性が示唆された． キーワード：英語文章要約問題，要約文の解答パターン，誤答，トレースラインEvaluation of Summarizing Patterns When Reading English
Passages: Based on Educational Measurement
Takahiro Terao
1,2and Hidetoki Ishii
11
Nagoya University,
2Japan Society for the Promotion of Science
The purpose of this study is to examine summarizing patterns in English reading and summarizing
test items by proficiency level. Along with the summarization model proposed in the area of cognitive
psychology, we developed four types of summarizing test items: 1) deleting unnecessary information
from a summary, 2) generalizing a list of concrete examples, 3) integrating the entire information in
the paragraph, and 4) summarizing the whole passage. Test takers were 60 undergraduate students,
and were asked to answer a set of these reading and summarizing test items. After that, we asked
three collaborators to classify students’ summaries into given categories. Tracelines showed that less
proficient test takers included unnecessary information or concrete descriptions in their summaries,
while middle-proficient students contained a biased statement or a different one from that of the writer.
The finding in the current study may contribute to the development of test items or scoring rubrics.
Key Words: constructed-response reading and summarizing test items, summarizing patterns,
typical errors, trace lines
英語文章要約パターンの教育測定学的検討
―削除・一般化・統合のプロセスに着目して―
寺尾 尚大
1,2，石井 秀宗
1 1名古屋大学，
2日本学術振興会
本研究の目的は，記述式の英語文章要約問題を用いて，要約文における解答パターンを能力群別に検討することで あった．認知心理学において提唱されている文章要約モデルを踏まえて，要約問題として1)要約に必要のない情報を 削除する過程に焦点を当てた問題(指定段落要約問題・削除)，2)文章中で並列されたことがらをより上位概念の語に 置き換える過程に焦点を当てた問題(指定段落要約問題・一般化)，3)段落の内容を代表するような文 (トピック・セ ンテンス)を作成する過程に焦点を当てた問題(指定段落要約問題・統合)，4)文章全体要約問題の4種類を作成した． 大学生60名に対して英語文章要約問題への解答を求めた後，研究協力者3名に受検者の要約文の分類を求めた．ト レースライン(解答率分析図)を描出した結果，能力低群の受検者が作成した要約文には，重要でない情報が混入して いる，具体的な記述をそのまま含めているなど，削除・一般化に関連した特徴が見られた．一方，能力中群の受検者の 要約文には，筆者の意図から逸脱した表現を含めている，対比的に述べられている記述のうちの一方に重きを置いてい るなど，統合に関連した特徴が見られた．本研究から得られた知見により，受検者の誤答情報をテスト問題や採点基準 の作成などに活用できる可能性が示唆された． キーワード：英語文章要約問題，要約文の解答パターン，誤答，トレースラインEvaluation of Summarizing Patterns When Reading English
Passages: Based on Educational Measurement
Takahiro Terao
1,2and Hidetoki Ishii
11
Nagoya University,
2Japan Society for the Promotion of Science
The purpose of this study is to examine summarizing patterns in English reading and summarizing
test items by proficiency level. Along with the summarization model proposed in the area of cognitive
psychology, we developed four types of summarizing test items: 1) deleting unnecessary information
from a summary, 2) generalizing a list of concrete examples, 3) integrating the entire information in
the paragraph, and 4) summarizing the whole passage. Test takers were 60 undergraduate students,
and were asked to answer a set of these reading and summarizing test items. After that, we asked
three collaborators to classify students’ summaries into given categories. Tracelines showed that less
proficient test takers included unnecessary information or concrete descriptions in their summaries,
while middle-proficient students contained a biased statement or a different one from that of the writer.
The finding in the current study may contribute to the development of test items or scoring rubrics.
Key Words: constructed-response reading and summarizing test items, summarizing patterns,
typical errors, trace lines
1
問題
1.1
大規模試験におけるテスト項目の品質
大学入試や資格試験などに代表されるハイステー クスな大規模試験には，社会からの大きな関心が集ま る．実際，昨今の大学入試改革(
高大接続システム改 革会議, 2016)
には社会全体から関心が寄せられてい る．このような状況下でハイステークスな大規模試験 を実施する際には，社会全体に対してテストの品質に 関する説明責任を果たす必要が生じる． テストの品質と言ったとき，教育測定学では主に次 の2
つの観点から検討されることが多い．1
つは，項 目の困難度や識別力，信頼性や測定精度をはじめとす る定量的な観点であり，もう1
つは，測定内容の定 義・構造化や結果の利用など，妥当性に関連する定性 的な観点である(
加藤, 2014)
． 定量的な観点からテストの品質を検討する場合，一 般的には予備テストを実施し，項目分析などを通じて テストに含まれる項目の統計的性質について検討する ことが多い(
野口・大隅, 2014)
．ただし，わが国にお ける現在のテスト文化の下では，教育産業などによっ てテスト項目が復元されることもあり，予備テストの 実施が困難な状況も多く存在する．この状況下では， 受検者の解答データが得られないため，統計的性質が 明らかでない項目によってテストが構成されることと なり，テストの品質が保証されないまま本番のテスト を実施することとなる．このことにより，同じ能力を 測定するテストであっても，一方のテストが他方のテ ストよりも困難度が高いという状況が起こる．たとえ ば法科大学院適性試験では，本試験よりも追試験のほ うが難しかったことが報告されている(
荒井・椎名・ 小牧, 2010)
．海外で実施されているテストでは，予 備テストを経た上で定量的な観点からテストの品質に ついて確認を行うことができる一方で，わが国の現状 を踏まえると，定量的な観点からテストの品質につい て確認することは難しいと言える． このようなわが国の状況を考慮すると，妥当性のう ちの内容的側面(Cronbach, 1984; Messick, 1995)
や結果の利用に関する側面(Messick, 1995)
など，定 性的な観点からテストの品質を担保することが重要 になると考えられる．特に，内容的側面からテストの 品質を担保しようとする場合には，測定したい能力 を項目作成の段階で詳細に定義することが必要となる
(Embretson & Gorin, 2001; Haladyna &
Ro-driguez, 2013)
． テスト項目の内容的な側面について検討する際，テ ストの目的や結果の利用の仕方に応じて，その方法 が大きく異なる．教育測定学では，ハイステークスな 大規模試験を検討対象とすることが多いため，テス ト得点に測定対象とする能力を十分に反映させ，得 点の解釈をより明確にする(Kane, 2013)
ことを目指 し，認知心理学の知見を利用して項目作成が行われ る(Embretson & Gorin, 2001; Gierl & Haladyna,
2012; Gorin, 2005; Haladyna & Rodriguez, 2013;
Leighton & Gierl, 2007)
．認知心理学の知見は，受検者の一般的な認知プロセスに関する枠組みを提供 するため，測定対象とする能力の定義を妥当なものと し，測定対象とする能力を十分に反映した項目の作成 に寄与する． 一方，真正の評価（パフォーマンス評価やポート フォリオ評価など）に代表されるオルターナティブ・ アセスメントの立場では，内容的側面からテストの 品質を担保するという観点は共通するものの，学習 者個人の学びにつなげることが主目的となる
(
田中,
2010)
．評価対象とする能力についての定性的な情報 を得るために，学習者が日常的に直面する状況を反映 した課題や，カリキュラムに適合した課題が作成され る(
田中, 2010)
． 本研究では後述するとおり，英語文章の要点把握能 力を題材として，受検者の誤答の情報から項目作成に 対する示唆を得ることを目的とする．この目的を達成 するにあたり，本研究ではハイステークスかつ大規模 試験という状況を想定しているため，受検者の一般的 な認知過程に依拠することがより妥当であると考え られる．したがって，本研究は教育測定学の立場に立 ち，認知心理学の知見を活用して項目作成に対する示 唆を得るアプローチを採用する．なお，本研究の方法 は，オルターナティブ・アセスメントの立場に立った 場合の方法と類似した部分もあるが，テスト得点の解 釈の明確化(Kane, 2013)
を最終的な目標としている 点で，オルターナティブ・アセスメントの立場とは異 なるものである．1.2
受検者の典型的な誤答に学ぶ項目作成
測定したい能力を認知心理学の知見に基づいて定 義する際，各認知過程での受検者の典型的な誤答に関する情報は，項目作成の際の参考資料として有用であ る．たとえば，多枝選択式テストにおける誤答選択枝 の作成にあたって，関連する認知過程での受検者の典 型的な誤答を選択枝に含めることが考えられる．例え ば寺尾・安永・石井・野口
(2015)
は，選択枝の正誤 評価のプロセスにおいて生じる受検者の典型的な誤答 と能力水準との関連を検討することにより，誤答選択 枝の作成に資する知見を得ている． また，記述式問題における採点基準の作成にあたっ て，受検者から実際に得られた解答に基づいて採点基 準の適切さを評価することの重要性が指摘されている
(Haladyna & Rodriguez, 2013)
．採点基準の作成段階において，受検者から実際に解答データを得る ことが難しい状況下では，受検者の典型的な誤答に関 する知見を活用し，解答カテゴリを設定することなど が考えられる． このように，受検者の典型的な誤答に関する知見 は，項目作成・採点基準作成の段階において有効に機 能することが考えられる．受検者の典型的な誤答を踏 まえた項目作成は，テストの品質を定性的な側面から 担保することにつながるものと期待される．そこで本 研究では，受検者の典型的な誤答の様相を捉え，項目 作成・採点基準作成に活用できるような研究知見を得 ることを目的とする．
1.3
英語文章の要点把握能力の位置づけ
認知心理学の知見に基づいて受検者の典型的な誤答 に関する情報を得るためには，測定対象とする能力を 具体的に定めることが必要である．本研究では以下の2
つの理由から，英語文章の要点把握能力に焦点を当 てた． 英語文章の要点把握能力を取り上げる第1
の理由と して，さまざまな側面からみた読解力を評価すること の必要性が挙げられる．認知心理学の観点からみた読 解力に関する議論の中で，犬塚(2006)
や犬塚・椿本(2014)
は，読解力の多様な側面に焦点を当てて評価 を行う必要性を提唱している．この議論の中では，文 章の局所的な情報処理だけでなく，文章の要点を把握 することや，記述内容を精緻化するための推論，読解 方略まで含めて読解力を定義した上で，局所的な情報 処理にとどまらない読解力測定の必要性を提起してい る(
犬塚, 2006)
．読解力を多面的に評価することは， 教育測定上も極めて重要な課題であると言える． なかでも英語文章の要点の把握は，大学生が英語と いう言語を通じて専門領域の学習を行う際に重要と なりうる能力として，教育測定学的な注目に値するも のと考えられる．Karbalaei & Rajyashree (2010)
は，英語文章の要約プロセスを学ぶプログラムに参加
した大学生の
L2
学習者において，情報探索や筆者の意図の推測などさまざまな読解問題から構成された
TOEFL
のテスト得点が，プログラムの参加前後で向上していたことを報告している．この結果から
Kar-balaei & Rajyashree (2010)
は，要約プロセスに含まれる方略が英語文章読解でも有用となる可能性を指 摘している．文章の要点を把握するような読み方が大 学生の
L2
学習者における英語文章読解を支えるもの であるならば，大学生における英語文章の要約把握能 力を教育測定学的に検討することには意義があると考 えられる． 第2
に，項目作成に関する先行研究では，英語文 章の要点を把握する際の受検者の典型的な誤答に関す る知見が得られていない点が挙げられる．例えば，英 語文章読解項目の錯乱枝について検討を行った寺尾他(2015)
や寺尾・石井・野口(2017)
は，キーセンテン スの特定をはじめとする局所的な情報処理プロセスに 着目し，能力水準別にみた錯乱枝の選択率を検討して いる．一方で，英語文章の要点把握という観点から， 受検者の典型的な誤答の特徴を明らかにした研究知見 は見当たらない．英語文章の要点把握能力を題材とし て，受検者の典型的な誤答について能力水準別の検討 を行うことは，項目作成に対して意義のある知見を提 供するものと考えられる． 次節では，認知心理学の知見に基づいて項目作成へ の示唆を得ようとする本研究の目的を達するため，文 章の要点把握に関連する認知心理学の知見を概観す る．加えて，本研究では英語を第2
言語とする日本人 の大学生を受検者とするため，第2
言語習得の分野に おける文章要約の研究知見もレビューする．1.4
認知心理学と第
2
言語習得からみた英語
文章の要点把握能力
本研究が題材とする能力に関連する認知心理学のモ デルとして，Kintsch & van Dijk (1978)
の構築―統合モデルが挙げられる．
Kintsch & van Dijk (1978)
では，文章の意味内容に直接的に関与するテキスト ベースにおいて，文章中に含まれる局所的な情報処理
する情報は，項目作成の際の参考資料として有用であ る．たとえば，多枝選択式テストにおける誤答選択枝 の作成にあたって，関連する認知過程での受検者の典 型的な誤答を選択枝に含めることが考えられる．例え ば寺尾・安永・石井・野口
(2015)
は，選択枝の正誤 評価のプロセスにおいて生じる受検者の典型的な誤答 と能力水準との関連を検討することにより，誤答選択 枝の作成に資する知見を得ている． また，記述式問題における採点基準の作成にあたっ て，受検者から実際に得られた解答に基づいて採点基 準の適切さを評価することの重要性が指摘されている
(Haladyna & Rodriguez, 2013)
．採点基準の作成段階において，受検者から実際に解答データを得る ことが難しい状況下では，受検者の典型的な誤答に関 する知見を活用し，解答カテゴリを設定することなど が考えられる． このように，受検者の典型的な誤答に関する知見 は，項目作成・採点基準作成の段階において有効に機 能することが考えられる．受検者の典型的な誤答を踏 まえた項目作成は，テストの品質を定性的な側面から 担保することにつながるものと期待される．そこで本 研究では，受検者の典型的な誤答の様相を捉え，項目 作成・採点基準作成に活用できるような研究知見を得 ることを目的とする．
1.3
英語文章の要点把握能力の位置づけ
認知心理学の知見に基づいて受検者の典型的な誤答 に関する情報を得るためには，測定対象とする能力を 具体的に定めることが必要である．本研究では以下の2
つの理由から，英語文章の要点把握能力に焦点を当 てた． 英語文章の要点把握能力を取り上げる第1
の理由と して，さまざまな側面からみた読解力を評価すること の必要性が挙げられる．認知心理学の観点からみた読 解力に関する議論の中で，犬塚(2006)
や犬塚・椿本(2014)
は，読解力の多様な側面に焦点を当てて評価 を行う必要性を提唱している．この議論の中では，文 章の局所的な情報処理だけでなく，文章の要点を把握 することや，記述内容を精緻化するための推論，読解 方略まで含めて読解力を定義した上で，局所的な情報 処理にとどまらない読解力測定の必要性を提起してい る(
犬塚, 2006)
．読解力を多面的に評価することは， 教育測定上も極めて重要な課題であると言える． なかでも英語文章の要点の把握は，大学生が英語と いう言語を通じて専門領域の学習を行う際に重要と なりうる能力として，教育測定学的な注目に値するも のと考えられる．Karbalaei & Rajyashree (2010)
は，英語文章の要約プロセスを学ぶプログラムに参加
した大学生の
L2
学習者において，情報探索や筆者の意図の推測などさまざまな読解問題から構成された
TOEFL
のテスト得点が，プログラムの参加前後で向上していたことを報告している．この結果から
Kar-balaei & Rajyashree (2010)
は，要約プロセスに含まれる方略が英語文章読解でも有用となる可能性を指 摘している．文章の要点を把握するような読み方が大 学生の
L2
学習者における英語文章読解を支えるもの であるならば，大学生における英語文章の要約把握能 力を教育測定学的に検討することには意義があると考 えられる． 第2
に，項目作成に関する先行研究では，英語文 章の要点を把握する際の受検者の典型的な誤答に関す る知見が得られていない点が挙げられる．例えば，英 語文章読解項目の錯乱枝について検討を行った寺尾他(2015)
や寺尾・石井・野口(2017)
は，キーセンテン スの特定をはじめとする局所的な情報処理プロセスに 着目し，能力水準別にみた錯乱枝の選択率を検討して いる．一方で，英語文章の要点把握という観点から， 受検者の典型的な誤答の特徴を明らかにした研究知見 は見当たらない．英語文章の要点把握能力を題材とし て，受検者の典型的な誤答について能力水準別の検討 を行うことは，項目作成に対して意義のある知見を提 供するものと考えられる． 次節では，認知心理学の知見に基づいて項目作成へ の示唆を得ようとする本研究の目的を達するため，文 章の要点把握に関連する認知心理学の知見を概観す る．加えて，本研究では英語を第2
言語とする日本人 の大学生を受検者とするため，第2
言語習得の分野に おける文章要約の研究知見もレビューする．1.4
認知心理学と第
2
言語習得からみた英語
文章の要点把握能力
本研究が題材とする能力に関連する認知心理学のモ デルとして，Kintsch & van Dijk (1978)
の構築―統合モデルが挙げられる．
Kintsch & van Dijk (1978)
では，文章の意味内容に直接的に関与するテキスト ベースにおいて，文章中に含まれる局所的な情報処理 を通じた命題表象（ミクロ構造）が構築され，その命 題群の取捨選択を通じた文章全体の命題表象（マクロ 構造）が構築されることを仮定している．マクロ構造 を構築する際には，以下の
3
つのマクロルールに沿っ て，構築された命題を取捨選択・統合する．第1
に削 除(deletion)
という過程で，文章のトピックに関連 が薄いと考えられる命題を取り除き，第2
に一般化(generalization)
という過程で，命題群をより上位概 念・上位集合の表現に置き換えた上で，第3
に構築・ 統合(construction/integration)
という過程で，ミ クロ構造の命題群を中心に据えながら，より全体的な 命題を構築する．上記3
つのマクロルールを適用しな がら，読み手は文章の要点に関する処理を行い，文章 の意味内容を理解している．また，
Brown & Day (1983)
では，Kintsch & van
Dijk (1978)
のモデルを精緻化し，要約文作成の際の6
つの認知過程を提唱している．具体的には，a)
重要 でない情報やb)
冗長な情報を削除し，c)
並列された ことがらやd)
動作を上位概念の語に置き換えた上で，e)
文章の筆者によるトピックの要約（トピック・セン テンス）がある場合はそれを見つけ，f)
トピック・セ ンテンスがない場合は自ら生成するとしている．この モデルのa
とb
はKintsch & van Dijk (1978)
のモデルにおける削除に対応し，
c
とd
は一般化，e
とf
は構築・統合に対応する．このように，文章を要約す る際にも，削除・一般化・統合というマクロルールを 適用することが示されている． 認知心理学におけるこれらのモデルは，母語で書か れた文章を読解・要約する際の認知過程として提唱さ れたものであるが，L2
学習者の要約文の特徴を把握 する際にも有用なパラダイムであることが報告され ている(Johns & Mayes, 1990; Keck, 2006; Kim,
2001)
．以下では，L2
学習者の要約文の特徴に関する 先行研究を概観する．L2
学習者の要約の第1
の特徴として，英語文章 中に利用可能な表現があれば，そのまま複写するか 微修正のみを加えて要約文に含める複写―削除方略(copy-delete strategy)
を使用することが挙げられる
(Johns & Mayes, 1990; Keck, 2006)
．ただし，L2
学習者の中でも能力水準の高い学習者は自らの言葉で言い換えた表現を要約文で用いることができる が，能力水準の低い学習者は複写―削除方略を多く用 いるという報告もある
(Johns & Mayes, 1990)
．これらの先行研究を踏まえると，
L2
学習者の中でも能力水準の低い学習者において，複写―削除方略が多く 用いられるものと考えられる．
L2
学習者の要約の第2
の特徴として，複数の命題をまとめた表現が少なく，具体性の高い表現が多いと いうことが挙げられる
(Kim, 2001; Johns & Mayes,
1990)
．Kim (2001)
は，韓国人のL2
学習者における要約文の中に，文章中の
2
つ以上の命題を1
つにまとめた記述を含むものが少なかったことを報告してい
る．また
Johns & Mayes (1990)
は，能力水準の低い
L2
学習者において同様の特徴が見られたことを報 告している．これらの先行研究を踏まえると，L2
学 習者の中でも能力水準の低い学習者において，具体性 の高い表現を多く含んだ要約文が作成されるものと考 えられる． 以上に見るように，L2
学習者において，複写―削 除方略を用いた記述や具体性の高い表現が含まれる程 度は能力水準に応じて異なるということが示唆されている
(Johns & Mayes, 1990)
．英語文章の要点把握能力を測定するにあたって，要約文の特徴を能力水準 別に検討することは，受検者の典型的な誤答の把握に つながり，項目作成に対する有用な示唆を得ることが できるものと期待される．
1.5
本研究の目的
以上のことを踏まえ，本研究では，英語文章の要点 把握能力を測る項目を作成する際の示唆を得るため， 削除・一般化・統合の過程を英語文章の要点把握能力 の構成要素と位置づけ，受検者の解答パターン（要約 パターン）について能力水準別に検討することを目的 とする．なお，本研究では「解答パターン」と「典型 的な誤答」をほぼ同義で用いているが，「解答パター ン」は正答を含むのに対し，「典型的な誤答」は誤答 のみに焦点が当てられ，正答は含まれない． 本研究の目的を達成するにあたり，本研究では受検 者に英語文章の一部を要約する記述式問題への解答を 求める方法をとる．この場合，一定程度のライティン グスキルをもつ受検者を対象とする必要が生じるた め，受検者集団が限定されることとなる．この点を踏 まえ，一定程度のライティングスキルをもつ受検者集 団の場合の事例的研究として本研究を位置づけること とした．2
方法
2.1
受検者
国立大学に通う大学生60
名(
男性30
名，女性30
名)
がテストへの解答に参加した．ただし，2
名の受 検者が全問無解答であったため，分析には58
名の解 答データを使用した．本研究でリクルートされた受検 者は，大学入試において記述・論述式の個別学力試験 を受検した経験をもつ大学生であり，一定程度のライ ティングスキルがあるものと判断された．2.2
材料
オンラインで公開されている私立大学の入学試験の うち，英語文章読解問題を4
題使用した．4
題の英語 文章読解問題のうち，1
題は全体的な英語文章読解能 力を測定するための問題としてそのまま使用し，残り3
題は要約問題用として，本研究の目的に合うよう適 宜修正を行い使用した．要約問題に対して行った修正 の詳細は，2.3
節で述べる． なお，要約問題用の英語文章3
題の選定に際して， 文章のさまざまな特徴(e.g.,
文章の長さ，ジャンル， 複雑さ)
が産出される要約文に影響を及ぼすとの先行研究
(Hidi & Anderson, 1986)
を考慮し，文章の長さがある程度同じになるよう配慮した．本研究が選定 した要約問題用の英語文章
3
題は，いずれも700
～850
語程度の文章であった．一方，文章のジャンルや 複雑さについては，複数の文章間で同程度になるよう な調整が難しいことなどから，本研究では選定した英 語文章のジャンルや複雑さを調整するような手続きは 取らなかった．2.3
英語文章要約問題の作成
本研究では，英語文章1
題につき要約問題4
項目を 作成した．要約問題4
項目の内訳は，設問で指定され た段落を要約する問題（以下，指定段落要約問題）3
項目，文章全体を要約する問題（以下，文章全体要約 問題）1
項目であり，これらの要約問題を英語文章3
題分，計12
項目を作成した． 指定段落要約問題は，認知プロセスごとの誤答の特 徴を把握するため，削除・一般化・統合のうちいずれ かをそれぞれの項目に割り当てるようにして作成した(
問1
は削除，問2
は一般化，など)
．ただし，1
つの 段落中に含まれている命題数は限られているため，段 落の要約において顕在化しにくい特徴も存在しうる． そこで，文章全体の要約文を作成するときには削除・ 一般化・統合のすべてが関与することを仮定し，段落 の要約で顕在化しにくい特徴を捉えることを目的と する文章全体要約問題を設定した．なお，削除・一般 化・統合に分割して問題を作成したのは，テスト項目 や採点基準の作成に対して示唆を得るため，総合的な 観点ではなく分析的な観点から受検者の典型的な誤答 を把握することが必要であったためである． 指定段落要約問題では，割り当てた認知プロセスが 要約時に特に重要となるような段落を選定し，設問の 幹において「第2
段落を要約してください」のように 教示した．要約を求める段落の選定にあたっては，そ れぞれの認知プロセスの特徴を考慮しながら，次のよ うな基準で選定した．削除を割り当てた要約問題（以 下，指定段落要約問題・削除）では，類似する内容が 複数回述べられている，周辺的な内容を多く含んでい るなど，要約文に含めるべき内容の取捨選択が必要と なるような段落を選定した．一般化を割り当てた要約 問題（以下，指定段落要約問題・一般化）では，具体 例や数値など，具体的な記述が意味するところを要約 に含める必要があるような段落を選定した．統合を割 り当てた要約問題（以下，指定段落要約問題・統合） では，トピック・センテンス（文章の筆者自身による 段落の要約）がない，あるいは明示的でない段落を選 定した．Table 1
に，冊子1
で受検者に要約文の作成 を求めた段落の例を示した． 文章全体要約問題では，特定の認知プロセスを割り 当てることはせず，設問の幹において「文章全体を要 約してください」と教示した． さらに，解答に字数制限を設けると思考力や判断力 を損なうとする実証的知見(
安永・齋藤・坂本・石井, 2013)
に沿って，要約問題には字数制限を設けない こととした．指定段落要約問題では，要約文が1
文程 度で作成可能であることを考慮し「1
文で解答してく ださい」と教示した．一方で，文章全体要約問題では 「複数文になってもかまいません」と教示した．加え て，本研究に参加する受検者の多くが日本語を母語と することに配慮して，いずれの要約問題についても日 本語で要約文を作成するよう，設問の幹において教示 した．2
方法
2.1
受検者
国立大学に通う大学生60
名(
男性30
名，女性30
名)
がテストへの解答に参加した．ただし，2
名の受 検者が全問無解答であったため，分析には58
名の解 答データを使用した．本研究でリクルートされた受検 者は，大学入試において記述・論述式の個別学力試験 を受検した経験をもつ大学生であり，一定程度のライ ティングスキルがあるものと判断された．2.2
材料
オンラインで公開されている私立大学の入学試験の うち，英語文章読解問題を4
題使用した．4
題の英語 文章読解問題のうち，1
題は全体的な英語文章読解能 力を測定するための問題としてそのまま使用し，残り3
題は要約問題用として，本研究の目的に合うよう適 宜修正を行い使用した．要約問題に対して行った修正 の詳細は，2.3
節で述べる． なお，要約問題用の英語文章3
題の選定に際して， 文章のさまざまな特徴(e.g.,
文章の長さ，ジャンル， 複雑さ)
が産出される要約文に影響を及ぼすとの先行研究
(Hidi & Anderson, 1986)
を考慮し，文章の長さがある程度同じになるよう配慮した．本研究が選定 した要約問題用の英語文章
3
題は，いずれも700
～850
語程度の文章であった．一方，文章のジャンルや 複雑さについては，複数の文章間で同程度になるよう な調整が難しいことなどから，本研究では選定した英 語文章のジャンルや複雑さを調整するような手続きは 取らなかった．2.3
英語文章要約問題の作成
本研究では，英語文章1
題につき要約問題4
項目を 作成した．要約問題4
項目の内訳は，設問で指定され た段落を要約する問題（以下，指定段落要約問題）3
項目，文章全体を要約する問題（以下，文章全体要約 問題）1
項目であり，これらの要約問題を英語文章3
題分，計12
項目を作成した． 指定段落要約問題は，認知プロセスごとの誤答の特 徴を把握するため，削除・一般化・統合のうちいずれ かをそれぞれの項目に割り当てるようにして作成した(
問1
は削除，問2
は一般化，など)
．ただし，1
つの 段落中に含まれている命題数は限られているため，段 落の要約において顕在化しにくい特徴も存在しうる． そこで，文章全体の要約文を作成するときには削除・ 一般化・統合のすべてが関与することを仮定し，段落 の要約で顕在化しにくい特徴を捉えることを目的と する文章全体要約問題を設定した．なお，削除・一般 化・統合に分割して問題を作成したのは，テスト項目 や採点基準の作成に対して示唆を得るため，総合的な 観点ではなく分析的な観点から受検者の典型的な誤答 を把握することが必要であったためである． 指定段落要約問題では，割り当てた認知プロセスが 要約時に特に重要となるような段落を選定し，設問の 幹において「第2
段落を要約してください」のように 教示した．要約を求める段落の選定にあたっては，そ れぞれの認知プロセスの特徴を考慮しながら，次のよ うな基準で選定した．削除を割り当てた要約問題（以 下，指定段落要約問題・削除）では，類似する内容が 複数回述べられている，周辺的な内容を多く含んでい るなど，要約文に含めるべき内容の取捨選択が必要と なるような段落を選定した．一般化を割り当てた要約 問題（以下，指定段落要約問題・一般化）では，具体 例や数値など，具体的な記述が意味するところを要約 に含める必要があるような段落を選定した．統合を割 り当てた要約問題（以下，指定段落要約問題・統合） では，トピック・センテンス（文章の筆者自身による 段落の要約）がない，あるいは明示的でない段落を選 定した．Table 1
に，冊子1
で受検者に要約文の作成 を求めた段落の例を示した． 文章全体要約問題では，特定の認知プロセスを割り 当てることはせず，設問の幹において「文章全体を要 約してください」と教示した． さらに，解答に字数制限を設けると思考力や判断力 を損なうとする実証的知見(
安永・齋藤・坂本・石井, 2013)
に沿って，要約問題には字数制限を設けない こととした．指定段落要約問題では，要約文が1
文程 度で作成可能であることを考慮し「1
文で解答してく ださい」と教示した．一方で，文章全体要約問題では 「複数文になってもかまいません」と教示した．加え て，本研究に参加する受検者の多くが日本語を母語と することに配慮して，いずれの要約問題についても日 本語で要約文を作成するよう，設問の幹において教示 した．2.4
テスト冊子の構成
多枝選択式の英語文章読解問題1
題(3
項目)
を第1
問とし，記述式の英語文章要約問題3
題のうち1
題(4
項目)
を第2
問とする大問2
問構成のテスト冊子 を計3
種類作成した．第1
問は3
種類すべてのテス ト冊子に収録する共通項目とした．第2
問はテスト冊 子によって異なる実験項目とし，本研究の目的を達成 するために設定した．2.5
手続き
受検者には，このテストが項目の性質を検討する目 的で行われるものであること，受検者個人の能力の測 定を目的としないものであることを伝えた．また，テ ストへの解答開始前において，解答データから個人を 特定しないこと，研究参加をいつでも中断でき，その ことによる不利益はないことなどについて伝えたうえ で，研究参加への同意を確認した．さらに，本研究の 成果を公表する際，個人を特定しない形で，受検者自 身の要約文を例として用いることがあることについて 伝えた．なお，本研究は名古屋大学大学院教育発達科 学研究科の倫理審査委員会による承認を受けて実施さ れた(ERB No.16-827)
． 受検者には，テストへの解答を解答用紙にマーク・ 記入するよう教示した．テストへの解答時間は35
分 間としたが，時間内に解答が終了しない受検者がいた 場合には，研究実施者が受検者の解答状況を見なが ら，解答時間を5
分程度延長することがあった．2.6
採点基準の作成・修正
受検者の要約文をもとに誤答の詳細を検討する前段 階として，それぞれの要約問題における採点基準を作 成した．採点基準の作成・修正ガイドラインとして，Haladyna & Rodriguez (2013)
は，問題作成の段階で採点基準の作成を始めること，数名から実際に得ら れた解答に基づいて採点基準の適切さを評価するこ となどの重要性を指摘している．そこで本研究では，
Haladyna & Rodriguez (2013)
のガイドラインを参考に，受検者から解答データを収集する前に暫定版の 採点基準を作成し，受検者の解答データを収集した後 に採点基準の修正を行った上で，研究協力者に採点基 準の確認を求める手続きをとった．以下では，それぞ れの手続きの詳細を述べることとする． なお，一般的に採点基準とは，受検者の解答に対し て段階評定を行うための根拠資料のことを指すが，本 研究では要約文における解答パターンを名義カテゴリ として考えていること，本研究の目的に照らした場合 に詳細な段階評定値を与えることが必ずしも意味をも たないことなどの理由から，採点基準には段階評定の 基準を含めず，正答の基準のみを示すこととした．こ こで，正答の基準とは
(1)
それぞれの設問がターゲッ トとする認知過程，(2)
ターゲットとした認知過程が その設問を解く際にはどのように反映しているか(
設 問のねらい)
，(3)
解答例，(4)
要約文の正誤判断に必 要な要素の4
種類のことを指す．研究協力者の事前の 解答を踏まえて設定したのは，採点基準の(3)
と(4)
の部分であった． まず，各項目の正答の基準を暫定的に決定するた め，受検者の解答データを収集する前の段階に，英語 を得意とする大学院生の研究協力者6
名(
男性2
名， 女性4
名)
に要約問題(
第2
問)
のみの解答を求めた． 研究協力者1
名に対して1
種類のテスト冊子を割り 当てたため，各テスト冊子に2
名の研究協力者の解答 データが得られた．研究協力者から得られた解答に基 づいて，解答例の作成と正誤判断に必要な要素の特定 を行い，暫定版採点基準を作成した． 次に，受検者58
名分の解答データが得られた後， 採点基準の修正を行った．具体的には，設問のねらい や必要な要素に関する記述のうち，これらの基準を満 たした要約文が存在しなかったものについて，正答の 要件から除外するなどの修正を行った． 採点基準の修正後，上記の研究協力者6
名のうち， 引き続き研究協力への同意が得られた3
名(
女性3
名)
に対し，修正後の採点基準の確認を求めた．第一 著者から研究協力者に対して本研究のデザインに関す る説明を行ったうえで，3
種類すべてのテスト冊子を 渡し，英語文章そのものと採点基準を突き合わせて両 者が対応しているかどうか確認を行うよう依頼した． 以上の流れで作成・修正を行った採点基準を最終版 の採点基準とし，次節に示す解答カテゴリのうち「正 答」カテゴリの根拠を各項目ごとに示す資料として使 用した．例として，Table 1
に冊子1
の最終版採点基 準を示した．また，各設問の採点基準の下には，受検 者に要約するよう求めた英語文章中の1
段落を掲載 した．Table 1 最終版採点基準の例（冊子1） 設問 認知過程 設問のねらい 解答例 正誤判断に必要な要素 問 1 削除 休暇の計画を綿密に立てる ときと，スケジュールをゆっ たりした計画にしたときと で，人々の休暇の楽しみ方が 異なることを簡潔に表現でき る 休暇の計画を綿密に立てた 場合には，計画時のほうが楽 しいが，計画に余裕を持たせ た場合には，実際に休暇を過 ごすときのほうが楽しい。 重要でない情報（膨大な研 究データから得られた結果で あることなど）が含まれてい ない
There’s a surprising amount of research on vacations and what aspects are satisfying. To begin with, vacation planning tends to bring happiness. Data show that people actually derive most hap-piness from a vacation in the planning phase. On its own, this finding would seem to recommend the creation of a complex schedule, rather than a spontaneous getaway. But if complex trips bring joy in the planning, they risk giving almost no happiness in the taking. Harvard Business Review reports that people get little to no happiness boost from vacations they consider stressful. Crowded schedules and tight connections may look exciting in the process of planning, but they suggest you return no happier than when you left. Only people with simple, relaxed trips seem to get a happiness boost. Think of this as the Vacation Paradox: You have to choose between being happy beforehand or happy afterward. Sorry.
問 2 統合 休暇をとることが賃金に及 ぼす影響について，トピック・ センテンスを作り出すことが できる 有給休暇を消化しない人に 比べ，有給休暇を消化してい る人のほうが，昇給額やボー ナスの額が多く，有給休暇を とることによるペナルティも 受けていない。 有給休暇を使い切らない人 と使い切る人の昇給やボーナ スについて，対比的に述べら れている
Whether people take a vacation at all says a bit about career success, but the relationship is oppo-site from what one might imagine. According to a study from the U.S. Travel Association, American workers in 2013 gave up 169 million days of paid time off, worth $52.4 billion. Was there a career benefit to giving up so much vacation time? There was not, according to the study. Those who left between 11 and 15 vacation day unused tended to receive smaller raises or bonuses than those who used all their vacation days. We don’t know if this is because the vacation-less employees were over-stressed, or because incompetent employees who couldn’t get their work done skipped vacation. But the finding does indicate that vacation takers are not paying a career penalty.
問 3 一般化 アメリカ人とヨーロッパ人 の休暇に対する考え方を表し た文，およびその周辺の文を， 抽象的な表現に書き換えて要 約することができる 仕事に価値を置くアメリカ 人は有給休暇をあまり取らな いが，休暇に価値を置くヨー ロッパ人は有給休暇をたくさ ん取る。 アメリカ人・ヨーロッパ人 の休暇に対する価値観，有給 休暇の取り方について，具体 的な記述（会話のはじめに相 手によく尋ねることがら・有 給休暇の日数に関するデータ など）を一般化した形で記述 している
Vacation also say a thing or two about one’s country of origin. In America, the opening con-versation topic with a stranger is frequently, “What do you do for a living?” For Europeans, the customary topic is “Where are you going on vacation this year?” Everyone has an answer, usually involving weeks and weeks at the beach or the mountains. The data provide support for the saying that Americans live to work, while Europeans work to live. The average American worker is offered just 16 days of paid holiday each year and has no legal guarantee to any time off. Compare this Italy (31 days), Spain (34 days) and Portugal (35 days).
2.7
解答カテゴリの生成
それぞれの設問に対する受検者の答案全体を第一著 者が確認し，受検者の要約文を評価するための解答カ テゴリを作成した(Table 2)
． 解答カテゴリの設定にあたり，以下の2
点に留意し た．第1
に，正答以外のカテゴリについては，受検者 から実際に得られた要約文と各認知過程の特徴をもと に，削除・一般化・統合それぞれの過程に特有の誤答 を抽出した．このようなカテゴリ設定を行った背景に は，本研究が多枝選択式問題における錯乱枝の作成やTable 1 最終版採点基準の例（冊子1） 設問 認知過程 設問のねらい 解答例 正誤判断に必要な要素 問 1 削除 休暇の計画を綿密に立てる ときと，スケジュールをゆっ たりした計画にしたときと で，人々の休暇の楽しみ方が 異なることを簡潔に表現でき る 休暇の計画を綿密に立てた 場合には，計画時のほうが楽 しいが，計画に余裕を持たせ た場合には，実際に休暇を過 ごすときのほうが楽しい。 重要でない情報（膨大な研 究データから得られた結果で あることなど）が含まれてい ない
There’s a surprising amount of research on vacations and what aspects are satisfying. To begin with, vacation planning tends to bring happiness. Data show that people actually derive most hap-piness from a vacation in the planning phase. On its own, this finding would seem to recommend the creation of a complex schedule, rather than a spontaneous getaway. But if complex trips bring joy in the planning, they risk giving almost no happiness in the taking. Harvard Business Review reports that people get little to no happiness boost from vacations they consider stressful. Crowded schedules and tight connections may look exciting in the process of planning, but they suggest you return no happier than when you left. Only people with simple, relaxed trips seem to get a happiness boost. Think of this as the Vacation Paradox: You have to choose between being happy beforehand or happy afterward. Sorry.
問 2 統合 休暇をとることが賃金に及 ぼす影響について，トピック・ センテンスを作り出すことが できる 有給休暇を消化しない人に 比べ，有給休暇を消化してい る人のほうが，昇給額やボー ナスの額が多く，有給休暇を とることによるペナルティも 受けていない。 有給休暇を使い切らない人 と使い切る人の昇給やボーナ スについて，対比的に述べら れている
Whether people take a vacation at all says a bit about career success, but the relationship is oppo-site from what one might imagine. According to a study from the U.S. Travel Association, American workers in 2013 gave up 169 million days of paid time off, worth $52.4 billion. Was there a career benefit to giving up so much vacation time? There was not, according to the study. Those who left between 11 and 15 vacation day unused tended to receive smaller raises or bonuses than those who used all their vacation days. We don’t know if this is because the vacation-less employees were over-stressed, or because incompetent employees who couldn’t get their work done skipped vacation. But the finding does indicate that vacation takers are not paying a career penalty.
問 3 一般化 アメリカ人とヨーロッパ人 の休暇に対する考え方を表し た文，およびその周辺の文を， 抽象的な表現に書き換えて要 約することができる 仕事に価値を置くアメリカ 人は有給休暇をあまり取らな いが，休暇に価値を置くヨー ロッパ人は有給休暇をたくさ ん取る。 アメリカ人・ヨーロッパ人 の休暇に対する価値観，有給 休暇の取り方について，具体 的な記述（会話のはじめに相 手によく尋ねることがら・有 給休暇の日数に関するデータ など）を一般化した形で記述 している
Vacation also say a thing or two about one’s country of origin. In America, the opening con-versation topic with a stranger is frequently, “What do you do for a living?” For Europeans, the customary topic is “Where are you going on vacation this year?” Everyone has an answer, usually involving weeks and weeks at the beach or the mountains. The data provide support for the saying that Americans live to work, while Europeans work to live. The average American worker is offered just 16 days of paid holiday each year and has no legal guarantee to any time off. Compare this Italy (31 days), Spain (34 days) and Portugal (35 days).
2.7
解答カテゴリの生成
それぞれの設問に対する受検者の答案全体を第一著 者が確認し，受検者の要約文を評価するための解答カ テゴリを作成した(Table 2)
． 解答カテゴリの設定にあたり，以下の2
点に留意し た．第1
に，正答以外のカテゴリについては，受検者 から実際に得られた要約文と各認知過程の特徴をもと に，削除・一般化・統合それぞれの過程に特有の誤答 を抽出した．このようなカテゴリ設定を行った背景に は，本研究が多枝選択式問題における錯乱枝の作成や Table 2 解答の分類カテゴリ 認知過程 カテゴリ名 定義 削除 正答 正答の要件をすべて満たしており，重要でない情報・冗長な情報が取 り除かれている 重要でない情報の混入 正答の要件はすべて含まれているが，重要でない情報も含まれている 必要な要素の不足 正答の要件の一部のみが記述されているが，すべての要件を満たして いるとは言えない 読解の誤り 正答の要件を満たしている程度にかかわらず，読解上の誤りを含む記 述がある 過度の削除 要約文が過度に簡略化されており，正答の要件が満たされているかど うかの判断がつかない 的外れ 正答の要件を全く満たしていない 一般化 正答 具体的な記述が上位の語に適切に言い換えられていたり，その記述 の意味するところをまとめた表現がある 具体的な記述の置き換え不足 具体的な記述（数値・固有名詞・並列されたことがらなど）が上位 の語や表現に置き換えられていなかったり，具体的な記述の意味す るところをまとめた表現がない 不適切な一般化 具体的な記述を抽象的な語や表現に置き換えているが，その置き換 えが適切でない 統合 正答 文章の筆者自身が段落の要約としてまとめている文を見つけ出して 記述したり，文章の筆者の意図に沿ったわかりやすい要約文になっ ている 一貫性の欠如 要約文の内容どうしの一貫性が低い 筆者の意図とのズレ その段落での筆者の意図とは異なる方向の要約文になっている 一面的な記述 要約文として必要な要素の一部を取り出して記述しており，段落全 体の内容を統合した要約文になっていない 採点基準の作成に対する示唆を得るという目的をもっ ていることが挙げられる． 第2
に，文章全体要約問題における解答カテゴリに は，削除・一般化・統合のそれぞれで設定したものを すべて使用し，独自のカテゴリを設けなかった．本研 究における文章全体要約問題は，削除・一般化・統合 のすべてが重要になる問題として位置づけられ，指定 段落要約問題から得られにくい情報を取り上げる役割 を担っている．このため，カテゴリ設定の時点では， 文章全体要約問題独自のカテゴリを設定せずに各過程 のカテゴリ全体をそのまま使用し，要約文評価の枠組 みを3
種類の指定段落要約問題のものに揃えることが 必要であると考えられる． 以降では，冊子1
における受検者の実際の要約文を 取り上げ，焦点を当てた認知過程と対応づけながら， 正答以外の解答カテゴリの詳細について述べる． 2.7.1 削除に関する解答カテゴリ 文章要約モデルにおける「削除」のプロセスでは， 重要でない情報や冗長な情報の取捨選択が想定されて いることを踏まえ，正答以外に計5
つの解答カテゴリ を設定した． 冊子1
の第2
問・問1
では，例えば「旅行の予定を 詰めて立てると，計画の段階では楽しく，出発した後 は疲れてストレスが溜まってしまうが，旅行の予定を 簡単に立てておくと，計画の段階ではつまらないが旅 行自体はリラックスした楽しいものになる」のような 要約文が得られた．この受検者の要約文は，採点基準(Table 1)
に照らした場合，設問のねらいを満たして いるが，重要でない情報(e.g.,
実際の旅行では疲れ てストレスが溜まってしまう，旅行自体はリラックス したものになる，など)
を含む記述があると判断され る．このような解答を分類するカテゴリとして「重要 でない情報の混入」を設定した．段落や文章に含まれ る情報を取捨選択する際に，重要でないものを取り除 ききれなかった誤答として位置づけられる． また，「休暇に関する調査において，人々は予定の 詰まった計画を立てたとき，旅行に行ってからよりも 計画を立てる段階でのほうが幸せを感じるということ がわかっている」のような要約文が得られた．この受 検者の要約文は，旅行のスケジュールに余裕を持たせ たときの人々の楽しみ方に関する記述がないため，設問のねらいを満たしていないと判断される．このよう な解答を分類するカテゴリとして 「必要な要素の不 足」を設定した．段落や文章に含まれる重要な情報を 重要でないと判断した誤答として位置づけられる． さらに，「シンプルな休みこそ，幸せに過ごせる」の ように，要約文が過度に簡潔化されていることで設問 のねらいを満たすことができていないものが得られ た．このような解答を分類するカテゴリとして「過度 の削除」を設定した．段落中の記述から読み取ること ができた箇所のみをコンパクトに要約し，他の重要な 箇所を書き落とした誤答として位置づけられる． 冊子
