一般化可能性理論を用いた英文和訳問題の採点の信頼性に関する検証
黒川智史
11
東京大学大学院 総合文化研究科 言語情報科学専攻 〒153-0041 東京都目黒区駒場 3-8-1
E-mail:
1[email protected]
あらまし これまで英文和訳の妥当性の検証は行われてきた。その一方、採点方法は統一されておらず、また、採 点の信頼性も高いものから低いものまで様々なのが現状である。そこで本稿では、2 人の英語が堪能で、英文和訳 に関する独自の評価観を持ち合わせていないと想定される大学院生 2 人に採点のトレーニングを課した後、英文和 訳の採点を行ってもらい、その採点の信頼性を検証した。実験には 135 人の高校 3 年生が参加した。採点基準は、 複数の大手予備校の大学入試における英文和訳の採点基準を参照しながら作成した。さらに、信頼性の高い採点基 準に必要な人数と項目数を求めるために、一般化可能性理論を用いてシミュレーションを行った。その結果、今回 のような参加者が１時間程度予め採点のトレーニングを行えば、英語が堪能な 1 人の採点者が 2 項目で採点すれば、 高い採点の信頼性が得られることが判明した(G = 0.85)。 キーワード 英文和訳, 一般化可能性理論, 採点の信頼性, 採点のトレーニングScoring Reliability for Translation Tests Studied with Generalizability Theory
Satoshi K
UROKAWA11
Department of Language and Information Sciences, Graduate School of Arts and Sciences, the University of Tokyo
3-8-1 Komaba, Meguro-ku, Tokyo, 153-0041 Japan
E-mail:
1[email protected]
Abstract This paper aims to assess translation tests utilizing the Generalizability theory to examine whether they satisfy
scoring reliability in Japanese high school term-end exams. In all, 135 Japanese high school students participated in this research. After they completed their translation tests, two well-trained raters assessed each translation task using a translation rubric that was based on the rubric of the most successful cram school and correspondence school in terms of its graduates passing university entrance examinations, the Toshin cram school and the Z-Kai correspondence school. The results indicated that one rater and two items are required to meet scoring reliability in Japanese high school term-end exams (G = 0.85).
Keywords Translation Tests, Generalizability Theory, Scoring Reliability, Rater Training
1.は じ め に
英 文 和 訳 は 明 治 の 初 期 か ら 現 在 に 至 る ま で 高 等 学 校 の 定 期 テ ス ト な ど で 出 題 さ れ て き た 問 題 形 式 で あ る 。 し か し な が ら 、 こ れ ま で 英 文 和 訳 を 定 期 テ ス ト で 出 題 す る こ と に 関 し て 様 々 な 議 論 が あ り 、 そ れ ゆ え 、 英 文 和 訳 の 妥 当 性 に 関 す る 実 証 的 な 検 証 が 行 わ れ て き た (Buck, 1992; 青 木 , 2000; Ushiro et al, 2005)。 そ の 一 方 、 永 原 (1936) や 馬 場 (2006) は 英 文 和 訳 の 採 点 の 信 頼 性 に 問 題 が あ る こ と を 指 摘 し た も の の 、 麻 生 (2012)な ど を 除 き 、 ま だ あ ま り 検 証 が な さ れ て い な い と い う の が 現 状 で あ る 。 定 期 テ ス ト に お い て 採 点 の 信 頼 性 が 確 保 さ れ て い る こ と は 、 テ ス ト 課 題 の 妥 当 性 と 同 様 、 非 常 に 重 要 な 要 素 で あ り 、 検 証 す る 必 要 が あ る と い え る 。 し た が っ て 、 本 研 究 で は 英 文 和 訳 の 採 点 の 信 頼 性 に つ い て 実 証 的 に 検 証 す る こ と に す る 。1.1 先 行 研 究
英 文 和 訳 の 妥 当 性 の 検 証 で は 、 採 点 方 法 や 信 頼 性 も 記 さ れ て い る 場 合 が 多 い 。 Buck(1992)で は 、 7 人 の 短 期 大 学 の 英 語 教 員 に 121 人 の 大 学 生 が 解 答 し た 英 文 和 訳 を 採 点 し て も ら い 、 そ の 採 点 者 間 信 頼 性 を ピ ア ソ ン の 相 関 分 析 を 行 っ た 結 果 、 最 低 .087、最 高 0.93 と い う 値 が 算 出 さ れ た 。こ の 結 果 か ら 、Buck は 英 文 和 訳 の 採点 者 間 信 頼 性 は 十 分 あ る と 結 論 づ け た 。し か し な が ら 、 Buck の 実 験 で は 、採 点 者 の ト レ ー ニ ン グ を 行 っ て い な か っ た 。青 木 (2000)で は 、108 人 の 参 加 者 の 英 文 和 訳 を 0 点 か ら 3 点 ま で の 範 囲 で 18 人 (大 学 教 員 7 人 、 高 校 教 員 9 人 、 中 学 教 員 2 人 )が 採 点 し た 。 し か し 、 英 文 和 訳 の 採 点 方 法 は 、 具 体 的 な 採 点 基 準 を 設 け ず 、 採 点 者 に 任 せ て い た 。 ま た 、 Buck 同 様 、 採 点 者 の ト レ ー ニ ン グ は 行 っ て い な か っ た 。 Ushiro et al(2005)で は 、 4 人 の 高 校 の 英 語 教 師 が 英 語 の 文 節 ご と に 0 点 か ら 2 点 ま で の 部 分 点 を 与 え 、 採 点 者 間 信 頼 性 を ピ ア ソ ン の 相 関 分 析 で 検 証 し た 。 そ の 結 果 、 最 低 071、 最 高 0.83 の 相 関 係 数 が 算 出 さ れ た 。ま た 、Buck や 青 木 同 様 、Ushiro et al の 実 験 で も 採 点 者 の ト レ ー ニ ン グ は 行 わ れ て な か っ た 。 英 文 和 訳 の 採 点 の 信 頼 性 を 中 心 の 課 題 と し た す え た 研 究 と し て は 麻 生 (2012)が あ る 。 麻 生 は 、 採 点 者 間 信 頼 性 を 検 証 す る た め に 、公 立 高 校 の 英 語 教 師 10 人 に 採 点 基 準 を 設 け ず に 10 点 満 点 と 3 点 満 点 の 2 種 類 の 採 点 方 法 で 、10 人 の 高 校 生 が 答 え た 英 文 和 訳 を 採 点 し て も ら っ た 。採 点 者 間 信 頼 性 を 検 証 す る た め に 、10 人 の 採 点 者 の 採 点 を そ れ ぞ れ ピ ア ソ ン の 相 関 分 析 を 用 い て 分 析 し た 。そ の 結 果 、10 点 満 点 の 採 点 方 法 で は 、最 低 0.30、最 高 0.93 と い う 採 点 者 間 同 士 の 相 関 係 数 が 算 出 さ れ 、 3 点 満 点 の 場 合 で も 、最 低 0.41、最 高 0.90 の 採 点 者 間 同 士 の 相 関 係 数 が 算 出 さ れ た 。 こ の こ と か ら 、 採 点 者 間 の 相 関 係 数 は 、 10 点 満 点 、 3 点 満 点 、 ど ち ら の レ ン ジ で 採 点 し た 場 合 で も 、 採 点 者 間 信 頼 性 は 、 ば ら つ き が 大 き い と い う こ と が 示 さ れ た 。 麻 生 は 、 点 差 の レ ン ジ に か か わ ら ず 、 採 点 に ば ら つ き が て る と い う こ と を 主 張 し て い る 。 ま た 、 麻 生 (2012)は 、 採 点 者 間 の 信 頼 性 を 高 め る に は 、 採 点 の ト レ ー ニ ン グ が 必 要 で あ る と 主 張 し て い る 。
1.2 リサーチクエスチョン
こ れ ま で の 英 文 和 訳 の 研 究 に お け る 採 点 方 法 は 以 下 の 表 １ の よ う に ま と め た 。 こ の よ う に 先 行 研 究 で は 、 採 点 の ト レ ー ニ ン グ が 行 わ れ て い な い こ と 、 そ し て 、 評 価 項 目 が 設 け ら れ て い な い こ と が 示 さ れ た 。 他 に も 、 青 木 (2000) や 麻 生 (2012) の よ う に 、 多 く の 研 究 に お い て 採 点 者 は 採 点 の ト レ ー ニ ン グ が 行 わ れ て い な い 英 語 教 員 の み で 構 成 さ れ て い た こ と か ら 、 既 に 有 し て い る 英 文 和 訳 に 対 す る 評 価 観 が 存 在 し て お り 、 そ れ が 採 点 に 影 響 を 与 え て い る 可 能 性 も あ る こ と が 挙 げ ら れ る 。 Weir(2005)に よ る と 、 ス ピ ー キ ン グ 課 題 や ラ イ テ ィ ン グ 課 題 の よ う な パ フ ォ ー マ ン ス 課 題 と 呼 ば れ る 、 採 点 者 の 特 性 や 、 採 点 者 の ト レ ー ニ ン グ 不 足 か ら 起 因 す る 採 点 者 に よ る 採 点 の 厳 し さ や 寛 大 さ は 、 具 体 的 な 採 点 項 目 を 設 け る こ と に よ っ て 統 制 を 取 る こ と が 望 ま し い と い う 。 つ ま り 、 本 来 で あ れ ば 、 日 本 の 英 語 教 育 の 文 脈 で も 、 英 文 和 訳 も ス ピ ー キ ン グ 課 題 や ラ イ テ ィ ン グ 課 題 と 同 様 に 、 採 点 の ト レ ー ニ ン グ が あ る 方 が 適 切 で あ る 。 上 記 の 問 題 点 を 考 慮 す る と 、 本 研 究 で は 、 信 頼 性 の 高 い 採 点 を 行 う の に 必 要 な ト レ ー ニ ン グ の 内 容 や 、 そ の 際 に 必 要 な 採 点 者 の 数 、 評 価 項 目 の 数 を 明 ら か に す る こ と が 考 え ら れ る 。 そ う す る こ と で 今 後 の 英 文 和 訳 の 妥 当 性 に 関 す る 検 証 と 採 点 の 信 頼 性 に 関 す る 研 究 、 ま た 、 実 際 の 英 語 教 育 の 現 場 に と っ て 、 本 研 究 が 有 意 義 な 検 証 に な る と 考 え ら れ る た め で あ る 。本 来 な ら ば 、 採 点 ト レ ー ニ ン グ の 有 無 、 英 語 教 員 で あ る か ど う か 、 評 価 項 目 の 有 無 な ど の 要 因 に よ る 英 文 和 訳 の 採 点 へ の 影 響 を 検 証 し 、 頑 強 な 信 頼 性 の 高 い 英 文 和 訳 の 採 点 方 法 を 検 証 す る こ と が 研 究 目 的 と し て 望 ま し い 。 し か し な が ら 、 英 文 和 訳 の 採 点 の 信 頼 性 に 関 す る 研 究 は 未 だ 不 足 し て お り 、 上 記 の 条 件 を な る べ く 揃 え て 採 点 を 行 っ た と し て も 、 高 い 採 点 の 信 頼 性 が 確 保 で き る か は 検 証 さ れ て い な い 。つ ま り 、た と え 採 点 の ト レ ー ニ ン グ 、 英 文 和 訳 に 対 す る 評 価 項 目 を 設 け て 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 採 点 者 同 士 で 採 点 し て も ら っ た と し て も 、 あ ま り 高 く な い 信 頼 性 し か 得 ら れ な い 可 能 性 も あ る 。 そ の 場 合 、 上 記 の 条 件 以 外 の 要 因 が 採 点 の 信 頼 性 に 大 き く 寄 与 し て い る と 考 察 さ れ る た め 、 採 点 に 影 響 す る そ の 他 の 要 因 を 検 証 し な く て は な ら な い だ ろ う 。 そ の た め 、 ま ず は 採 点 ト レ ー ニ ン グ 、 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 採 点 者 、 採 点 項 目 を 設 け て 英 文 和 訳 の 採 点 を 行 っ た 場 合 、 ど の 程 度 高 い 信 頼 性 が 確 保 で き る か 、 ま た 、 そ の 際 に 信 頼 性 の 高 い 採 点 が 可 能 な 採 点 者 の 人 数 、 採 点 項 目 数 を 調 査 す る 必 要 が あ る だ ろ う 。 そ の よ う な 検 証 を 行 う こ と で 、今 後 の 英 文 和 訳 の 妥 当 性 の 実 証 研 究 に あ た っ て は 、 本 研 究 の 採 点 方 法 が 参 考 に な る こ と が 予 想 さ れ る 。 ま た 、 本 研 究 で 高 い 信 頼 性 が 得 ら れ た 場 合 、 今 後 の 英 文 和 訳 の 採 点 の 信 頼 性 に 関 す る 検 証 に お い て 、 採 点 に 影 響 を 与 え る 要 因 (採 点 者 ト レ ー ニ ン グ の 有 無 、採 点 者 が 英 語 教 員 な の か 、 そ れ と も 英 語 教 育 の 現 場 を 経 験 し た こ と が な い 大 学 院 生 な の か 、 も し く は 異 な っ て い る のか 、評 価 項 目 の 有 無 )を 対 象 と し た 発 展 的 な 研 究 に 繋 が る と 考 察 さ れ る 。 し た が っ て 、 本 研 究 で は 以 下 の リ サ ー チ ク エ ス チ ョ ン (RQ)を 立 て 、 検 証 す る こ と に し た 。 RQ. 英 文 和 訳 は 、採 点 の ト レ ー ニ ン グ を 受 け た 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 採 点 者 が 評 価 項 目 を 設 け て 採 点 し た 場 合 、 何 人 の 採 点 者 と 何 個 の 評 価 項 目 で 採 点 す れ ば 高 い 信 頼 性 が 確 保 で き る の か
2.実 験
2.1 一 般 化 可 能 性 理 論
本 研 究 で は 、 RQ を 検 証 す る た め に 一 般 化 可 能 性 理 論 を 用 い た 。 一 般 化 可 能 性 理 論 と は 、 テ ス ト 項 目 や 採 点 者 な ど の 誤 差 要 因 に よ っ て 、 得 点 が ど の 程 度 変 化 す る の か を 調 査 す る も の で あ り 、 ス ピ ー キ ン グ 課 題 な ど の 信 頼 性 の 検 証 に お い て 用 い ら れ て い る (小 泉 , 2018)。 他 に も 一 般 化 可 能 性 理 論 は 、 ラ イ テ ィ ン グ 課 題 の 採 点 の 信 頼 性 に 関 し て も し ば し ば 用 い ら れ て い る ( 山 森 , 2002; 山 西 , 2005; 水 本 , 2008)。 こ れ ま で 英 文 和 訳 に お い て 一 般 化 可 能 理 論 が 用 い ら れ た 研 究 は 、管 見 の 限 り 、 存 在 し な い が 、 英 文 和 訳 は ラ イ テ ィ ン グ 課 題 同 様 、 記 述 式 問 題 で あ る た め 、 今 回 の 英 文 和 訳 の 採 点 の 信 頼 性 の 検 証 に お い て も 利 用 で き る と 判 断 し た 。 一 般 化 可 能 性 理 論 は 、 採 点 に 伴 う 変 動 誤 差 の 大 き さ を 分 析 す る「 一 般 化 可 能 性 研 究（ G 研 究 ）」と 、G 研 究 の 分 散 分 析 の 推 定 値 か ら 、 一 般 化 可 能 性 係 数 を 算 出 す る「 決 定 研 究（ D 研 究 ）」で 構 成 さ れ て い る (小 泉 , 2018)。 一 般 可 能 性 理 論 に よ っ て 、 評 価 項 目 、 採 点 者 、 参 加 者 な ど の 変 動 要 因 が 英 文 和 訳 の 採 点 に 与 え る 大 き さ の 推 定 値 を 求 め る こ と が で き る （ 山 森 , 2002; 山 西 , 2005; 水 本 , 2008；小 泉 , 2018）。さ ら に 、山 西 (2005)は 、一 般 可 能 性 理 論 に よ っ て 、 設 定 し た 目 標 の 信 頼 係 数 に 到 達 す る の に 必 要 な 採 点 者 の 人 数 や 、 評 価 項 目 の 数 な ど を シ ミ ュ レ ー シ ョ ン す る こ と が で き る と 主 張 し て い る 。 し た が っ て 、 本 研 究 の RQ を 検 証 す る た め に 、 一 般 化 可 能 性 理 論 を 用 い て 何 人 の 採 点 者 と 何 個 の 評 価 項 目 で 採 点 を 行 っ た 場 合 の 信 頼 係 数 を 算 出 す る 。 今 回 、英 文 和 訳 の 採 点 に 与 え る 主 要 因 は 、「 採 点 者 」、 「 評 価 項 目 」、「 参 加 者 」 と し 、 系 統 的 誤 差 を 起 こ す 相 は ３ 相 と し た 。 ま た 、 主 要 因 を 掛 け 合 わ せ た 交 互 作 用 は 、「 参 加 者 」以 外 の ２ 相 と し た 。「 採 点 者 ×評 価 項 目 」、 「 採 点 者 ×参 加 者 」、「 参 加 者 ×評 価 項 目 」と し た (山 西 , 2005)。そ し て「 採 点 者 ×評 価 項 目 ×参 加 者 」に は 、そ の 交 互 作 用 と と も に 、 ど の 要 因 を も っ て し て も 説 明 で き な い ラ ン ダ ム 誤 差 が 含 ま れ て い る た め 、 全 体 で 残 差 を 示 し て い る (山 西 , 2005)。一 般 化 可 能 性 理 論 は 、古 典 的 テ ス ト の 信 頼 性 の 概 念 を 発 展 、 拡 張 さ せ た も の で あ り1、 そ の た め D 研 究 に お い て 算 出 さ れ る 一 般 化 可 能 性 係 数 は 、 古 典 テ ス ト 理 論 で 言 う と こ ろ の 信 頼 係 数 に 相 当 す る (小 泉 , 2018)。 水 本 は 、 山 西 (2005)を 参 考 に し て 、 何 人 の 採 点 者 が 何 個 の 評 価 項 目 で 採 点 す れ ば 、 あ る 基 準 以 上 の 信 頼 係 数 が 算 出 で き る か を 公 式 に し て ま と め た 。 以 下 の 公 式 が 水 本 (2008)に 記 さ れ た も の で あ る 。 上 記 の 式 を 用 い る こ と で 、「 (評 価 )項 目 の 数 」と「 採 点 者 の 数 」 を 変 動 さ せ 、 そ の 採 点 者 数 と 評 価 項 目 数 で 採 点 を 行 っ た 場 合 の 一 般 化 可 能 性 係 数 を シ ミ ュ レ ー シ ョ ン す る こ と が で き る 。 ま た 、 水 本 に よ る と 、 0.8 以 上 が 高 い 信 頼 性 が あ る と み な せ る と 主 張 し て い る 。 そ の た め 、 ま ず は 0.8 以 上 の 高 い 信 頼 係 数 が 得 ら れ る ま で シ ミ ュ レ ー シ ョ ン を 行 う 。 0.8 以 上 に 達 し た 後 も 、 よ り 高 い 信 頼 性 係 数 で あ る 0.9 以 上 に な る ま だ シ ミ ュ レ ー シ ョ ン を 続 け る 。 そ の 理 由 と し て は 、 英 文 和 訳 は よ り テ ス ト の 影 響 度 が 高 い 大 学 や 高 校 の 入 学 試 験 な ど で も 用 い ら れ て い る た め 、 英 文 和 訳 を 様 々 な 場 面 で 用 い る 可 能 性 を 考 慮 し た た め で あ る 。 次 に 、 評 価 の 点 数 の レ ン ジ に つ い て 説 明 す る 。 し ば し ば 、 一 般 化 可 能 性 理 論 は ラ イ テ ィ ン グ 課 題 の 信 頼 性 を 検 証 す る 場 合 に 用 い ら れ る 。そ の 場 合 、項 目 ご と に 、 0 点 か ら 5 点 ま で 評 価 を 行 う こ と が 多 い (山 森 , 2002； 水 本 , 2008)。 ラ イ テ ィ ン グ 課 題 は 、 あ る 程 度 以 上 の 長 さ を 有 し た 文 章 で あ る こ と か ら 、 0 点 か ら 5 点 ま で の 項 目 で 評 価 さ れ る こ と が 多 い と 考 え ら れ る 。 今 回 の 英 文 和 訳 は 、 短 い 4 つ の 文 章 を 採 用 し た た め 、 英 文 和 訳 の 採 点 を 行 っ た 青 木 (2000)や 麻 生 (2012)同 様 、各 項 目 0 点 か ら 3 点 ま で の レ ン ジ と し た 。 今 回 は 、 後 述 2.2 の 4 項 目 で 評 価 し た た め 、一 問 あ た り 最 高 12 点 、英 文 和 訳 は 4 問 出 題 し た た め 、 全 体 で 最 高 48 点 と な っ た 。2.2 英 文 和 訳 の 採 点 項 目
静 (2006)は 、 大 学 入 学 試 験 に 出 題 さ れ て い る 英 文 和 訳 が 、 高 校 の 英 語 教 育 に 波 及 効 果 を 及 ぼ し て い る と 指 摘 し て い る 。 そ れ ゆ え 、 本 稿 で は 大 学 入 学 試 験 と 関 連 さ せ て 英 文 和 訳 の 評 価 項 目 を 検 討 す る 。金 谷 (1995)は 、 英 文 和 訳 の 採 点 項 目 を 決 定 す る 際 に 注 意 す る 点 に つ い て 以 下 の よ う に 述 べ て い る (pp.217-218)。 1 本 来 は 採 点 方 法 の 改 善 案 を 考 案 す る た め に 、 G 研 究 も 焦 点 を 当 て る 必 要 が あ る 。 し か し 、 管 見 の 限 り 、 英 文 和 訳 の 採 点 に 一 般 化 可 能 性 理 論 が 用 い ら れ て い て い な い た め 、 ま ず は 相 対 的 決 定 で あ る D 研 究 に 主 眼 を 置 い て 検 証 を 行 っ た 。テ ス ト の 妥 当 性 を 検 証 す る と き 、「 タ ス ク 」 と 「 採 点 基 準 」 の 設 定 に お い て 、「 だ れ も が 納 得 す る 」 統 一 基 準 を 設 け る こ と が 不 可 能 で あ れ ば 、「 一 定 の 判 断 能 力 が あ る 人 」の 中 で「 よ り 多 く の 人 が 納 得 す る 」 基 準 を 決 め る と い う 方 法 を 採 る べ き で あ る 。 (金 谷 , 1995) 金 谷 が 主 張 す る よ う に 、 英 文 和 訳 で は 、 誰 も が 納 得 す る 判 断 基 準 を 設 定 す る こ と が 困 難 で あ る た め 、 本 研 究 で は 、「 一 定 の 判 断 能 力 が あ る 人 」の 中 で「 よ り 多 く の 人 が 納 得 す る 」 基 準 を 定 め る 方 法 を 設 定 す る こ と に す る 。 先 行 研 究 で は 、 採 点 者 の 判 断 に 委 託 し て い る た め 、 本 研 究 に 応 用 で き る 採 点 基 準 と な り う る も の は 見 当 た ら な か っ た (Buck, 1992; 青 木 , 2000; Ushiro et al, 2005)。 そ れ ゆ え 、 教 師 や 生 徒 が 「 一 定 の 判 断 能 力 が あ る 人 」 と み な す 人 が 「 よ り 多 く 納 得 し て い る 」 と 思 わ れ る 英 文 和 訳 の 採 点 基 準 と は 、 誰 が 作 成 し た ど の よ う な 基 準 で あ る か を 考 察 す る 必 要 が あ る 。 そ の 考 察 対 象 と な り う る も の と し て 、 大 学 入 試 の 予 備 校 な ど の 採 点 基 準 が 考 え ら れ る 。 Allen(2016)は 、 現 在 の 塾 や 予 備 校 は 、 現 行 の 入 学 試 験 制 度 に よ っ て 生 み 出 さ れ た 日 本 の 英 語 教 育 の 「 闇 の 部 分 (Shadow)」 で あ る と 述 べ て い る 。そ の 一 方 、塾 や 予 備 校 が 、「 闇 の 部 分 」 と し て 機 能 し て い る と い う こ と は 、 そ れ ら が 提 示 し て い る 採 点 基 準 は 、 教 師 や 生 徒 に と っ て 重 要 な 入 学 試 験 (High-stakes Test) を 解 答 す る た め に 必 要 な 手 が か り に な っ て い る こ と を 意 味 し て お り 、 そ れ ほ ど ま で に 塾 や 予 備 校 は 入 学 試 験 を 徹 底 的 に 検 証 し て い る と い え る 。 そ れ が 教 師 や 生 徒 が 予 備 校 の 採 点 基 準 を 「 一 定 の 判 断 能 力 が あ る 」と み な し て い る 理 由 で あ る と 考 え ら れ る 。 ま た 、 長 き に 渡 っ て 存 在 し て い る 著 名 な 予 備 校 な ど は 、 教 師 や 生 徒 が そ の 採 点 基 準 を 「 よ り 多 く の 人 が 納 得 し て い る 」た め 存 続 し 続 け て い ら れ る と 考 え ら れ る 。 し た が っ て 、 本 稿 で は 、 予 備 校 の 採 点 基 準 を 参 照 す る こ と に す る 。 採 点 基 準 を 参 照 す る に あ た っ て 、 1 つ の 予 備 校 で は な く 、 複 数 の 伝 統 的 な 予 備 校 を 参 照 す る こ と に す る 。 例 え ば 、大 手 予 備 校 の 東 進 が 作 成 し た『 第 1 回 6 月 東 北 大 本 番 レ ベ ル 模 試 (2013 年 6 月 実 施 )2』 に よ る と 、 以 下 の よ う な 英 文 和 訳 の 採 点 基 準 が 設 け ら れ て い る 。 1.基 本 的 に 部 分 的 誤 り と 語 句 の 無 視 は 各 -2 点 2.各 採 点 区 分 内 の 配 点 を 超 え て 減 点 は 行 わ な い 2 第 1 回 6 月 東 北 大 本 番 レ ベ ル 模 試 (2013 年 6 月 実 施 )よ り 引 用 し た 。 URL(https://www.toshin.com/hs/ev ent/tohokudai_honban/pdf/1306/eigo.pdf#search=%27 英 文 和 訳 +採 点 基 準 %27 2018 年 11 月 2 日 閲 覧 )。 3.十 分 に 日 本 語 化 し て い る カ タ カ ナ 語 は 不 問 だ が 、 そ の 場 合 を 除 く カ タ カ ナ 語 は -2 点 4.日 本 語 の 誤 字 等 は ， 別 の 意 味 に と ら れ て し ま う ケ ー ス は -1 点 (東 進 , 2013) 上 記 の 例 か ら 読 み 取 れ る よ う に 、 基 本 的 に 英 語 に 関 す る 能 力 を 測 定 し て い る が 、 日 本 語 の 誤 字 や 別 の 意 味 に と ら れ て し ま う よ う な 表 現 が 減 点 対 象 で あ る こ と か ら 、 日 本 語 の 能 力 も 問 わ れ て い る 、と 東 進 は 分 析 し て い る 。 さ ら に 永 原 (1936)同 様 、 部 分 的 な 語 句 の ミ ス は 減 点 対 象 と な み な し て い る 。 も う 1 つ 大 手 通 信 教 育 の 予 備 校 の 英 文 和 訳 の 採 点 基 準 を 取 り 上 げ る 。 実 は 、 英 語 の 通 信 教 育 に は 長 い 歴 史 が あ る 。 江 利 川 (2011)に よ る と 、 日 本 の 英 語 教 育 に お い て は 、通 信 教 育 の 始 ま り は 1924 年 の 井 上 通 信 英 語 教 育 ま で 遡 る こ と が で き る と い う 。 現 在 、 大 手 通 信 教 育 と い え ば 、 Z 会 の 名 前 を あ げ る 人 も 多 い だ ろ う 。 Z 会 が 2016 年 度 の 京 都 大 学 の 英 文 和 訳 の 勉 強 方 法 を 示 し た も の を 以 下 に 引 用 す る3。 英 文 和 訳 で は 、 ま ず 英 文 の 構 造 を 文 法 ・ 構 文 に 基 づ い て 丁 寧 に 分 析 す る 練 習 を 積 む こ と 。 そ し て 自 然 な 日 本 語 に な る よ う 工 夫 を 重 ね る 。 語 彙 に つ い て は 、 単 語 集 な ど で こ ま め に 覚 え て い く と 同 時 に 、 文 脈 か ら 未 知 語 の 意 味 を 推 測 す る 練 習 が 必 要 で あ る 。 背 景 知 識 や 日 本 語 の 語 彙 力 も 助 け に な る だ ろ う 。 (Z 会 , 2016) こ の よ う に 、 英 文 和 訳 で は 、 英 文 の 構 造 に つ い て 丁 寧 に 分 析 す る こ と 、 そ し て 自 然 な 日 本 語 で あ る こ と が 重 要 で あ る と Z 会 は 分 析 し て い る と 思 わ れ る 。 今 回 取 り 上 げ た 英 文 和 訳 の 採 点 基 準 で わ か っ た こ と と は 、 英 語 の 文 構 造 や 、 単 語 だ け で な く 、 与 え ら れ た 分 脈 か ら 逸 脱 し た 訳 は 減 点 対 象 に な る こ と 、 日 本 語 関 連 の ミ ス （ 誤 字 、 脱 字 、 定 着 し て い な い カ タ カ ナ 語 の 使 用 ） な ど も 減 点 さ れ る と い う こ と で あ る 。 当 然 な が ら 、 大 手 予 備 校 が 作 っ た 採 点 基 準 が ど こ ま で 本 来 の 採 点 基 準 と 近 い も の な の か は 調 べ よ う が な い 。 し か し な が ら 、 毎 年 多 く の 受 験 生 が こ の よ う な 採 点 基 準 を 参 考 に し て テ ス ト に 望 ん で い る 。 そ の た め 、 実 際 の 大 学 入 試 に 向 け て 同 様 の 採 点 基 準 を 設 け る こ と は 現 実 的 で あ る と 考 え ら れ る 。 そ し て 、 少 な く と も 、 青 木 (2000) や 麻 生 (2012)の 実 証 実 験 の よ う に 、 細 か い 採 点 基 準 を 設 け ず 、教 師 に 任 せ て 英 文 和 訳 を 評 価 し た も の よ り も 、 3 「 京 大 英 語 再 現 答 案 ＆ 得 点 情 報 分 析 『 目 標 得 点 を 達 成 す る た め の ポ イ ン ト 」よ り 引 用 し た URL(h ttps://www.zkai.co.jp/high/saigen/contents/base.aspx?c d=16ke_b 2018 年 12 月 21 日 閲 覧 )。
高 校 の 英 語 教 育 の 現 状 に 即 し た 正 確 な 評 価 が で き る と 考 え ら れ る 。 今 回 の 評 価 の 項 目 は 、「 英 文 の 文 構 造 を 理 解 し て い る か 」「 英 文 の 文 章 を 理 解 し て い る か 」「 日 本 語 の 自 然 さ 」「 日 本 語 の 正 し さ 」 の 4 項 目 で あ る 。「 英 文 の 文 構 造 を 理 解 し て い る か 」 と い う 項 目 は 、 永 原 (1936)や 、 大 手 予 備 校 で あ る 東 進 (2013)が 言 及 し た 項 目 で あ る た め 取 り 入 れ た 。「 英 文 の 内 容 を 理 解 し て い る か 」に つ い て は 、 馬 場 (2006)が 述 べ て い る よ う に 、 英 文 和 訳 は さ ほ ど 難 し く な い 構 文 と 語 彙 で あ っ た 場 合 、 原 文 の 理 解 度 を 測 定 で き る と さ れ て い る た め 項 目 と し て 採 用 し た 。 「 日 本 語 の 自 然 さ 」と「 日 本 語 の 正 し さ 」に つ い て は 、 英 文 和 訳 は 日 本 語 と し て の 能 力 も 必 要 で あ る と 考 え ら れ る た め 、 取 り 入 れ た 。 な お 、 実 際 の 課 題 で 用 い た 採 点 表 や 、 採 点 事 例 の 一 部 を Appendix.1 に 提 示 し て い る の で 参 照 さ れ た い 。
2.3 実 験 手 順
今 回 の 実 験 で は 、参 加 者 に 時 間 内 に 4 問 の 英 文 和 訳 を 解 い て も ら っ た 。 参 加 者 の 答 案 を 全 て Excel に 転 記 し 、 参 加 者 が 特 定 で き な い よ う に す る た め に 通 し 番 号 を 振 っ た 。 そ し て 、 採 点 の ト レ ー ニ ン グ を 受 け た 2 人 の 採 点 者 に そ の Excel フ ァ イ ル を 印 刷 し た も の を そ れ ぞ れ に 渡 し 、 採 点 し て も ら っ た 。 そ の 後 に 、 採 点 し た 結 果 を 一 般 化 可 能 性 理 論 の G 研 究 と D 研 究 を 行 っ た 。 な お 、 分 析 に 使 用 し た ソ フ ト ウ ェ ア は 、 SPSS Advanced Model の VARCOMP で あ っ た 。2.4 参 加 者
参 加 者 は 、首 都 圏 に あ る 私 立 大 学 付 属 の 高 校 3 年 生 、 計 145 人 で あ っ た 。参 加 者 に は 、2018 年 5 月 下 旬 か ら 6 月 中 旬 の 授 業 時 に 英 文 和 訳 の 課 題 と 英 検 な ど の 英 語 の 民 間 試 験 の 取 得 状 況 を 尋 ね る 質 問 紙 に 答 え て も ら っ た 。 な お 、 調 査 対 象 校 は 男 女 別 学 の 男 子 校 で あ っ た た め 、 全 て の 参 加 者 の 性 別 は 男 性 で あ っ た 。 参 加 者 の 9 割 近 く が 大 学 受 験 を せ ず に 、 付 属 の 大 学 に 進 学 す る 。 ま た 、 付 属 の 大 学 に 進 学 す る た め に は 、 英 検 2 級 か そ れ と 同 等 と 学 校 が 認 め た 試 験 に 合 格 し な く て は な ら な い 。 そ の た め 、 い わ ゆ る 進 学 校 の よ う に 、 大 学 受 験 に 特 化 し た 英 語 教 育 で は な く 、英 検 2 級 の 取 得 を 推 奨 し 、 コ ミ ュ ニ ケ ー シ ョ ン 能 力 を 伸 ば す こ と が こ の 高 校 の 教 育 理 念 の 1 つ と し て 掲 げ ら れ て い る 。 ま た 、 帰 国 子 女 が 複 数 人 在 籍 し て い る そ の 一 方 で 、 中 学 ま で 日 本 の 公 立 学 校 に 在 学 し て い た 生 徒 も い る こ と か ら 、 様 々 な 英 語 教 育 の 経 験 を 有 し て い る 生 徒 が い る と い え る 。 本 調 査 で は 、 無 記 名 で あ っ た も の や 、 欠 損 値 が あ っ た 10 人 を 除 い た 135 人 を 分 析 対 象 と し た 。 な お 、 収 集 し た 全 て の デ ー タ は 、 Excel に 打 ち 込 む 際 に 、 参 加 者 に 番 号 を 振 り 個 人 が 特 定 で き な い よ う に し た 。 Excel に デ ー タ を 打 ち 込 ん だ 後 も 調 査 で 参 加 者 が 直 接 記 入 し た 質 問 紙 は 自 宅 で 厳 重 に 保 管 し て い る 。2.5 採 点 者
英 文 和 訳 の 採 点 は 、 英 語 が 堪 能 で あ る 2 人 の 大 学 院 生 が 行 っ た 。 今 回 、 大 学 院 生 に 依 頼 し た 理 由 は 、 参 加 者 数 が 135 人 、 そ れ ぞ れ 4 問 解 い て も ら っ た た め 、 中 学 や 高 校 の 教 員 に 採 点 し て も ら う に は 、 英 文 和 訳 の 数 が 膨 大 す ぎ た た め で あ る 。 そ し て 多 忙 な 中 学 、 高 校 の 教 員 に 採 点 の ト レ ー ニ ン グ 講 習 を 受 け て も ら う こ と が 困 難 で あ る と 判 断 し た た め で あ る 。そ こ で 本 研 究 で は 、 こ れ ま で 英 文 和 訳 の 採 点 を し た こ と の な い 大 学 院 生 に 採 点 し て も ら う こ と に し た 。採 点 期 間 は 、2018 年 8 月 4 日 か ら 14 日 の 間 に 採 点 し て も ら っ た 。 こ の 2 人 は 同 じ 都 内 の 大 学 院 に 所 属 し て い る 。 両 者 と も 中 学・高 校 の 外 国 語 科 の 教 員 免 許 は 持 っ て お ら ず 、 研 究 分 野 も 外 国 語 教 育 関 連 の も の で は な い 。 大 学 院 の 研 究 分 野 は そ れ ぞ れ 認 知 言 語 学 (以 下 : 採 点 者 A)と 、コ ミ ュ ニ ケ ー シ ョ ン ス ト ラ テ ジ ー 研 究 (以 下 : 採 点 者 B) で あ っ た 。採 点 者 A は 日 本 語 母 語 話 者 、採 点 者 B は 中 国 語 と 日 本 語 の 均 衡 バ イ リ ン ガ ル で あ っ た 。 本 研 究 で 英 語 教 育 分 野 の 研 究 と は 関 係 が な く 、 教 員 免 許 状 を 取 得 し て い な い 大 学 院 生 の 採 点 者 を 選 ん だ 理 由 に つ い て 説 明 す る 。 一 般 化 可 能 性 理 論 で は 、 採 点 者 を 母 集 団 か ら ラ ン ダ ム サ ン プ リ ン グ で 選 ば れ る こ と に な っ て い る 。 そ れ ゆ え 、 本 来 で あ れ ば 、 実 際 に 英 文 和 訳 を 採 点 し て い る と 想 定 さ れ る 英 語 教 員 が 母 集 団 と し て 推 定 さ れ る た め 、 英 語 教 員 が 採 点 す る こ と が 望 ま し い 。 事 実 、 こ れ ま で の 先 行 研 究 に お い て も 、 英 語 教 員 が 英 文 和 訳 の 採 点 を 行 っ て い る (青 木 , 2000; Ushiro et al, 2005)。 今 回 、 英 語 が 堪 能 で あ る が 、 英 語 の 教 員 免 許 を 取 得 し て い な い 大 学 院 生 に 採 点 を 依 頼 し た 理 由 は 、 1.2 で 述 べ た よ う に 、 英 語 教 員 や 教 員 志 望 の 学 生 が 評 価 を 行 う 場 合 、 今 ま で の 学 習 ・ 指 導 の 経 験 に 基 づ く 独 自 の 評 価 観 点 が あ り 、 そ れ が 採 点 に 歪 み を 生 じ さ せ る 可 能 性 が あ る た め で あ る 。 ま た 、 英 語 教 員 に 比 べ て 、 英 語 教 育 に 対 す る 強 い こ だ わ り が な い と 想 定 さ れ る た め 、 採 点 の ト レ ー ニ ン グ に よ っ て 評 価 基 準 に 合 わ せ る こ と も 容 易 で あ る 可 能 性 が あ る と い う の も 理 由 の １ つ で あ る 。 ゆ え に 、 今 回 の 採 点 者 は 、 本 研 究 の 「 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 採 点 者 」 と し て 適 任 で あ る と 判 断 し た 。 次 に 、 採 点 者 の 人 数 に つ い て 説 明 す る 。 先 行 研 究 で は 、英 文 和 訳 が 4 人 (Ushiro et al, 2005)か ら 18 人 (青 木 , 2000)で 採 点 さ れ て い る の に 対 し 、本 研 究 の 採 点 者 の 人 数 で あ る 2 人 は か な り 少 な い 。 多 く の 採 点 者 が い た 方 が 、 よ り 正 確 な 信 頼 性 係 数 を 算 出 す る こ と が で き る た め 、採 点 者 の 人 数 を あ る 程 度 多 く す る こ と が 望 ま し い 。 し か し な が ら 、本 研 究 で は 、英 語 が 堪 能 で あ る も の の 、 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定さ れ る 採 点 者 が 、評 価 す る こ と に な っ て い る こ と か ら 、 採 点 者 の 人 数 を 確 保 す る の が 困 難 で あ っ た 。そ の た め 、 最 も 少 な い 人 数 で 一 般 化 可 能 性 理 論 を 行 っ て い る ラ イ テ ィ ン グ 課 題 の 研 究 を 調 査 し た 。 そ の 結 果 、 ラ イ テ ィ ン グ 課 題 の 採 点 の 信 頼 性 を 一 般 化 可 能 性 理 論 で 検 証 し た 水 本 (2008)で は 、 採 点 者 は 2 人 の み で 行 っ て い た 。 そ の た め 、 本 研 究 で は 、 水 本 に お け る 人 数 を 一 般 化 可 能 性 理 論 で 検 証 す る 際 の 最 小 限 の 人 数 と み な し 、 検 証 す る こ と に し た 。
2.6 採 点 の ト レ ー ニ ン グ
両 採 点 者 に は 、 2018 年 8 月 5 日 の 午 前 11 時 か ら １ 時 間 、 筆 者 が 主 催 し た 採 点 の ト レ ー ニ ン グ 講 座 に 参 加 し て も ら っ た 。 用 い た 採 点 項 目 は 、 2.2 で 言 及 し た も の と 同 様 で あ る 。 予 備 調 査 と し て 、 大 学 院 生 が 解 答 し た 本 調 査 で 用 い た も の と 同 じ 4 つ の 英 文 和 訳 を 設 問 ご と に 3 問 ず つ 、 計 12 問 英 文 和 訳 を 採 点 し て も ら っ た 。 ト レ ー ニ ン グ の 際 は 、練 習 問 題 の 12 問 の 採 点 し た 値 が 一 致 す る ま で 筆 者 を 交 え た 3 人 で 話 し 合 っ た 。 そ し て 12 問 の 練 習 問 題 の 採 点 が 一 致 し た と こ ろ で ト レ ー ニ ン グ は 終 了 し た 。 な お 、 採 点 者 に は そ れ ぞ れ 、 す べ て の 参 加 者 の 英 文 和 訳 を 渡 し 、2018 年 8 月 5 日 か ら 8 月 13 日 の 間 に 採 点 し て も ら っ た 。2.7 英 文 和 訳
英 文 和 訳 は 、 英 検 の テ キ ス ト か ら 引 用 し た 。 具 体 的 に は 、公 益 財 団 法 人 日 本 英 語 検 定 協 会 の 2017 年 度 の 第 2 回 英 語 検 定 一 次 試 験（ 準 2 級 ）の 長 文 読 解 “A Children’s Toy”の 文 章 か ら に 下 線 を 引 い た ４ つ の 文 を 実 験 に 用 い た4。そ の 理 由 は 、英 検 の ウ ェ ブ サ イ ト (2018)に あ る「 各 級 の 目 安5」に よ る と 、英 検 準 二 級 は「 大 学 入 試 レ ベ ル 」 と 記 載 さ れ て お り 、 さ ら に 、 多 く の 参 加 者 が 英 検 2 級 の 習 得 を 目 指 し て い る 。 し か し な が ら 、 質 問 紙 で 資 格 試 験 の 取 得 状 況 を 確 認 し た と こ ろ 、 調 査 時 点 に お い て 英 検 2 級 以 上 の 資 格 を 取 得 し て い る 参 加 者 は 全 体 の 37%で あ り 、 英 検 準 2 級 の 一 次 試 験 の 合 格 者 は 35%で あ っ た 。 ま た 、 残 り の 28%は 英 検 準 2 級 の 一 次 試 験 を 突 破 し て い な か っ た 。 そ れ ゆ え 、 参 加 者 の 上 位 3 割 程 度 に と っ て 簡 単 な 英 文 レ ベ ル で あ り 、 中 位 3 割 に よ っ て は 、 適 切 な 英 文 レ ベ ル 、 下 位 の 3 割 弱 に と っ て は 難 し い 英 文 レ ベ ル で あ る と 判 断 で き る 。 し た が っ て 、 こ の 課 題 の 英 文 レ ベ ル は 参 加 者 に と っ て 適 切 な レ ベ ル で あ る と 判 断 し た 。 こ こ で 、 学 校 で 普 段 用 い て い る 教 科 書 な ど か ら 既 習 の 長 文 を 引 用 す べ き で は な い か と い う 批 判 が あ る か も 4 下 記 の URL に あ る 公 益 財 団 法 人 日 本 英 語 検 定 協 会 よ り 引 用 し た (http://www.eiken.or.jp/eiken/exam/grad e_p2/solutions.html 2018 年 12 月 21 日 2018 閲 覧 ）。 5 下 記 の「 各 級 の 目 安 」を 参 照 さ れ た い （http://www.e iken.or.jp/eiken/exam/about/ 2018 年 12 月 21 日 閲 覧 ）。 し れ な い 。 実 際 に 英 文 和 訳 が 期 末 テ ス ト で 使 用 さ れ る 際 に は 、 こ れ ま で の 学 習 事 項 が 定 着 し て い る か を 確 認 す る た め に 出 題 し て い る こ と が 多 い た め で あ る 。 し か し な が ら 、 本 稿 で は 、 普 段 使 用 し て い る 教 科 書 の も の を 使 用 す る と 、学 習 者 の 読 解 力 を 測 定 し て い る よ り も 、 教 科 書 を 暗 記 し て い る こ と を 測 定 し て し ま う 恐 れ が あ る た め 、 教 科 書 か ら の 引 用 は 避 け た 。3.結 果
3.1 G 研 究
ま ず 、 英 文 和 訳 の 採 点 に お け る 変 動 要 因 で あ る 採 点 者 、 評 価 項 目 、 参 加 者 の 分 散 分 析 の 推 定 値 と 、 各 項 目 の 推 定 値 を 百 分 率 に し た も の を 以 下 の 表 2 に ま と め た 。 こ の 表 で ま と め ら れ て い る の は 、 一 般 化 可 能 性 理 論 に お け る G 研 究 に 該 当 す る 。表 1 を 見 て み る と 、最 も 大 き い 変 動 要 因 は「 参 加 者 」で あ っ た (66.4%)。こ れ は 参 加 者 に よ っ て 評 価 が 異 な る と い う こ と を 意 味 し 、 参 加 者 の 能 力 の 識 別 が で き て い る と い え る 。 最 も 変 動 要 因 と し て 小 さ か っ た の は 、「 採 点 者 」 で あ っ た 。 Brennan(1992)に よ る と 、採 点 者 の 分 散 成 分 が マ イ ナ ス で あ り 、且 つ 、-0.05 以 内 で あ る 場 合 は 、そ の 分 散 の 真 の 値 が 0 に 近 い た め 発 生 し て い る と い う 。 英 文 和 訳 の 採 点 に 与 え た 要 因 は 限 り な く 小 さ く な っ た 要 因 で あ る こ と が 考 察 さ れ る 。し た が っ て Brennan の 主 張 に 従 い 、 負 の 値 を 0 に 修 正 し た 。 し か し な が ら 、 推 定 結 果 の 偏 り を 防 ぐ た め 、 分 散 分 析 に お い て は 、 マ イ ナ ス の 値 を そ の ま ま 使 用 し た 。「 採 点 者 」の 変 動 要 因 が 小 さ い こ と は 、 採 点 者 同 士 の 採 点 の ズ レ も 小 さ い 可 能 性 が あ る 。 そ こ で 、 先 行 研 究 と 同 様 、 採 点 者 間 信 頼 性 が あ る の か を 採 点 者 A と 採 点 者 B の 4 項 目 の 点 数 を 足 し 合 わ せ た 英 文 和 訳 の 得 点 を ピ ア ソ ン の 相 関 分 析 を 用 い て 検 証 し た 。 そ の 結 果 、 r = 0.95 と い う 相 関 係 数 が 算 出 さ れ た 。 こ の こ と か ら 、採 点 者 A と B の 採 点 者 間 信 頼 性 は 非 常 に 高 い こ と が 示 さ れ た 。 そ の 一 方 で 、「 評 価 項 目 」 の 分 散 要 因 の 大 き さ が 表 2 一般化可能性係数研究(G 研究)の検証結果 分散成分 変動要因 推定値 割合（%） 参加者 6.77 66.4% 採点者 -0.04* 0.00%* 項目 1.109 10.9% 参加者×採点者 0.13 1.2% 採点者×項目 1.305 12.8% 採点者×項目 0.108 1.1% 参加者×採点者×項目 0.773 7.6% 合計 10.2 100% Note ; 採点者の項目は分散がマイナスだが、Brennan(1992)の方 法に従って、割合は 0%としている。10.9% あ る と い う こ と は 、 項 目 に よ っ て 測 定 し て い る も の が 大 き く 異 な る と い う こ と を 表 し て い る 。
3.2 D 研 究
一 般 化 可 能 性 理 論 の 次 の 段 階 で あ る D 研 究 に 移 行 す る 。上 記 の G 研 究 か ら 得 ら れ た 分 散 推 定 を 用 い て 、一 般 化 可 能 係 数 (G)を 求 め た 。ま た 、採 点 者 数 と 評 価 項 目 数 を 変 動 さ せ る と 、 ど の 程 度 の 信 頼 係 数 が 算 出 さ れ る か を シ ミ ュ レ ー シ ョ ン す る 。D 研 究 に お け る 信 頼 性 は 、 古 典 的 テ ス ト で い う と こ ろ の ク ロ ン バ ッ ク の α 係 数 と 同 様 に 扱 っ て い る 研 究 は 多 い (山 森 , 2002；山 西 , 2005； 水 本 , 2008)。 本 調 査 は 決 定 係 数 が 0.8 以 上 の 場 合 に 信 頼 性 の 高 い 採 点 で あ る と み な す こ と に す る 。 本 調 査 は 採 点 者 A と 採 点 者 B に そ れ ぞ れ 同 じ 英 文 和 訳 を 4 項 目 で 採 点 し て も ら っ た た め 、 ま ず 採 点 者 数 が 2 人 の 場 合 の シ ミ ュ レ ー シ ョ ン を 表 3 に ま と め た 。表 3 に よ る と 、 2 人 の 採 点 者 が 2 項 目 で 採 点 を 行 っ た 場 合 は 0.91 と い う 決 定 係 数 が 算 出 さ れ た 。 ま た 、 実 際 に 今 回 の 採 点 方 法 で あ っ た 2 人 の 採 点 者 が 4 項 目 で 採 点 を 行 っ た 場 合 0.93 と 高 い 決 定 係 数 が 算 出 さ れ て い た 。 表 3 採 点 者 数 が 2 人 の 場 合 の シ ミ ュ レ ー シ ョ ン 採 点 者 数 項 目 数 一 般 化 可 能 係 数 2 1 0.79 2 2 0.88 2 3 0.91 2 4 0.93 ま た 、 表 4 は 採 点 者 が １ 人 の 場 合 の シ ミ ュ レ ー シ ョ ン を 行 っ た も の で あ る 。 表 4 採 点 者 が 1 人 の 場 合 の シ ミ ュ レ ー シ ョ ン 採 点 者 数 項 目 数 一 般 化 可 能 係 数 1 1 0.75 1 2 0.85 1 3 0.89 1 4 0.91 表 4 か ら 読 み 取 れ る よ う に 、採 点 者 が 2 人 の 時 と 同 様 、 採 点 者 が 1 人 の 時 に お い て も 2 項 目 以 上 で 採 点 す れ ば 決 定 係 数 が 0.85 で あ り 、1 人 の 採 点 者 が 4 項 目 で 採 点 し た 場 合 は 0.91 と い う 高 い 信 頼 性 が あ る と い う こ と が 示 さ れ た 。 次 に 、 採 点 者 が 1 人 の 場 合 と 採 点 者 が 2 人 の 場 合 を 視 覚 的 に わ か り や す く 比 較 す る た め に 、 以 下 の よ う な 図 1 を 作 成 し た 。 図 1 で 示 さ れ て い る よ う に 、 採 点 者 が 1 人 で も 2 人 で も 、 評 価 項 目 数 が 4 項 目 程 度 に な る と あ ま り 採 点 の 信 頼 性 に 大 き な 差 が な い（ 採 点 者 1 人 の 場 合 、決 定 係 数 = 0.91： 採 点 者 2 人 の 場 合 、 決 定 係 数 = 0.93） こ と が 明 ら か に な っ た 。4.考 察
ま ず 、 一 般 化 可 能 性 理 論 の G 研 究 の 結 果 に よ る と 、 全 て の 変 動 要 因 の 中 で 最 も 大 き か っ た 分 散 成 分 は 、「 参 加 者 ( 推 定 値 = 6.77 、 推 定 値 全 体 に お け る 割 合 = 66.4 %)」で あ っ た こ と か ら 、今 回 実 験 に 用 い た 英 文 和 訳 の 課 題 は 、 参 加 者 の 能 力 を 十 分 に 識 別 で き て い た と い え る (水 本 , 2008)。 ま た 「 採 点 者 」 は ほ と ん ど 英 文 和 訳 の 点 数 の 変 動 要 因 と な ら な か っ た (分 散 成 分 の 推 定 値 = -0.04 推 定 値 全 体 に お け る 割 合 = 0.00 % )。 こ れ は 、 各 評 価 項 目 が 0 点 か ら 3 点 ま で の 比 較 的 小 さ い レ ン ジ で あ っ た こ と を 考 慮 し な け れ ば な ら な い が 、 採 点 者 に よ っ て の ば ら つ き は ほ と ん ど な か っ た 、 と い う こ と を 意 味 す る 。 ま た 、 採 点 者 2 人 の 採 点 者 間 信 頼 性 は 、 r = .95 で あ っ た こ と も 、 こ の 結 果 を 裏 付 け る も の と い え る 。 同 様 の 方 法 で 信 頼 性 係 数 を 算 出 し た 先 行 研 究 に お い て 、 最 も 強 い 採 点 者 間 信 頼 性 の 相 関 係 数 は 、 麻 生 (2012)の r = 0.97 で あ っ た と か ら 、本 研 究 は 他 の 英 文 和 訳 を 採 点 し た 研 究 と 比 較 し て も 、 か な り 強 い 採 点 者 信 頼 性 が 算 出 さ れ た と い え る 。 つ ま り 、 今 回 の よ う な 採 点 者 の 場 合 、 厳 格 な 評 価 項 目 表 を 与 え 、 1 時 間 程 度 ト レ ー ニ ン グ す れ ば 採 点 が か な り 一 致 す る と い う こ と が 示 唆 さ れ た 。 「 採 点 者 ×項 目 」 の 分 散 成 分 の 推 定 値 が 小 さ か っ た こ と か ら (推 定 値 = 0.10、 推 定 値 全 体 に お け る 割 合 = 1.1 %)、 採 点 者 に よ っ て 項 目 の 難 易 度 が 変 わ る こ と は ほ と ん ど 起 こ ら な い こ と が 示 さ れ た 。し か し な が ら 、「 参 加 者 ×項 目 」の 推 定 値 も 高 か っ た (推 定 値 = 1.30、 推 定 値 全 体 に お け る 割 合 = 12.8%)。 こ れ は 、 少 な く と も 1 つ の 項 目 が 、 あ る 参 加 者 に は 有 利 に 働 い た り 、 あ る 参 加 者 に 不 利 に 働 い た り し て い る こ と を 示 し て い る (Bachman, 1990)。 例 え ば 、 項 目 は 、 主 に 英 語 の 能 力 に 関 連 す る も の と 、 日 本 語 の 能 力 に 関 連 す る も の が あ る た め 、「 英 語 の 項 目 で 高 い 点 数 が 取 れ て い る に も か か わ ら ず 、 日 本 語 の 項 目 で あ ま り 高 い 点 数 が 取 れ な か っ た 参 加 者 」も し く は 、「 日 本 語 の 項 目 で は 、 高 い 点 数 が 取 れ た の に も か か わ ら ず 、 英 語 の 項 目 で は 高 い 点 数 を 取 れ な か っ た 参 加 者 」 が い た こ と が 想 定 さ れ る 。 今 回 は 予 備 校 の 採 点 表 を 参 考 に し て 観 点 別 の 評 価 を 作 成 し た が 、 今 後 の 研 究 で は 日 本 語 に 関 す る 評 価 を 入 れ な い 場 合 ど の よ う に 採 点 の 信 頼 性 に 影 響 が 出 る か に 関 し て 検 討 の 余 地 が 残 さ れ て お り 、 今 後 検 証 し て い く 必 要 が あ る だ ろ う 。 ま た 、 そ も そ も 日 本 語 の 評 価 項 目 を 、 英 語 の 課 題 で あ る 英 文 和 訳 に 入 れ る こ と 自 体 に 関 し て 慎 重 に 議 論 を 重 ね る 必 要 も あ る だ ろ う 。 次 に 、 D 研 究 の 結 果 を 考 察 す る 。 水 本 (2008)が ラ イ テ ィ ン グ 課 題 で 信 頼 性 が 高 い と 主 張 で き る 目 安 と し て 0 信 頼 性 係 数 が 0.8 を 超 え る こ と を 挙 げ て い る 。 英 文 和 訳 の 採 点 の 信 頼 性 を 考 察 し た 本 研 究 で 水 本 の 目 安 を 取 り 入 れ 、 D 研 究 の 決 定 係 数 が 0.8 を 超 え る に は 、 1 人 の 採 点 者 が 2 項 目 で 行 う こ と が 条 件 で あ っ た (決 定 係 数 G = 0.85)。さ ら に 、よ り 高 い 信 頼 性 を 高 め る に は 、 採 点 者 は 1 人 の 場 合 、 4 項 目 以 上 が 望 ま し い と い う こ と が 示 さ れ た (決 定 係 数 G = 0.91)。 上 記 の 考 察 か ら 、RQ「 英 文 和 訳 は 、採 点 の ト レ ー ニ ン グ を 受 け た 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 採 点 者 が 評 価 項 目 を 設 け て 採 点 し た 場 合 、 何 人 の 採 点 者 で 何 個 の 評 価 項 目 で 採 点 す れ ば 高 い 信 頼 性 が 確 保 で き る の か 」 に 答 え る 。 そ の 条 件 と し て 、(1)英 文 和 訳 に 対 す る 評 価 観 が な い と 想 定 さ れ る 大 学 院 生 を 採 点 者 と し て 選 び 、(2)採 点 項 目 を 理 解 し て も ら い 、 採 点 者 間 の 評 価 方 法 と 評 価 項 目 ご と の コ ン セ ン サ ス を 取 る た め に 1 時 間 で 12 問 程 度 の 採 点 者 に 対 す る 採 点 ト レ ー ニ ン グ を 行 う こ と で あ る 。 そ の 条 件 が ク リ ア さ れ た 場 合 、 1 人 の 採 点 者 が 、 に は 2 つ の 評 価 項 目 で 採 点 を 行 う と 0.8 以 上 の 信 頼 性 係 数 が 得 ら れ る 。 ま た 、 0.9 以 上 の 信 頼 性 係 数 を 得 る た め に は 1 人 の 採 点 者 が 4 項 目 以 上 で 採 点 す る こ と で 得 ら れ る こ と が 示 さ れ た 。 従 来 の 英 文 和 訳 の 妥 当 性 の 研 究 で は 、 採 点 の 信 頼 性 は 、 あ ま り 重 視 さ れ て こ な か っ た た め 、 信 頼 性 係 数 は 研 究 に よ っ て 高 い も の か ら 低 い も の ま で 様 々 で あ る 、 ま た 、 採 点 方 法 自 体 も そ の 研 究 独 自 の 手 法 で 行 わ れ て い る こ と も 多 く 、 統 一 さ れ た 方 法 で 行 わ れ て い る わ け で は な か っ た (Buck, 1992; 青 木 , 2000; Ushiro et al, 2005)。 英 文 和 訳 の 検 証 に お い て 用 い る こ と が で き る 採 点 方 法 1 つ を 示 す こ と が 一 連 の 英 文 和 訳 の 研 究 に 貢 献 で き た 部 分 で あ る と 考 察 さ れ る 。本 研 究 の 限 界 や 、 今 後 検 証 す べ き 課 題 に 関 し て は 次 の 章 で 述 べ る こ と に す る 。
5.今 後 の 展 望
本 研 究 で は 、一 般 化 可 能 性 理 論 を 用 い て 、採 点 者 の ト レ ー ニ ン グ を 受 け 、 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 採 点 者 が 、 評 価 項 目 を 設 け て 採 点 し た 場 合 、 信 頼 性 の 高 い 採 点 に 必 要 な 採 点 者 数 と 評 価 項 目 数 を 検 証 し た 。 そ れ を 検 証 す る た め に 、 英 文 和 訳 の 採 点 項 目 を 設 け た 状 態 で 、 1 時 間 程 度 の 採 点 ト レ ー ニ ン グ 受 け た 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 大 学 院 生 2 人 に 採 点 し て も ら い 、 一 般 化 可 能 性 理 論 を 用 い て 分 析 し た 。 そ の 結 果 、 1 人 の 採 点 者 が 2 つ の 項 目 で 採 点 を 行 っ た 場 合 、 0.8 以 上 の 信 頼 性 係 数 が 算 出 さ れ た 。ま た 、1 人 の 採 点 者 が 4 つ の 評 価 項 目 で 評 価 を 行 っ た 場 合 、 0.9 以 上 の 高 い 採 点 の 信 頼 性 係 数 が 算 出 さ れ た 。 こ の こ と か ら 、 今 回 と 同 様 の 条 件 で 採 点 を 行 っ た 場 合 、 採 点 の 信 頼 性 を 確 保 で き る こ と が 示 さ れ た 。 そ の 一 方 で 、本 研 究 に は 様 々 な 限 界 が あ る 。例 え ば 、 今 回 の 採 点 者 は 、 英 文 和 訳 に 対 す る 独 自 の 評 価 観 を 持 っ て い な い と 想 定 さ れ る 大 学 院 生 で あ っ た た め 、 今 回 の ト レ ー ニ ン グ を 、 独 自 の 評 価 観 を 持 っ て い る と 想 定 さ れ る 英 語 教 師 に 実 施 し た 場 合 、 今 回 と 同 様 の 結 果 が 得 ら れ る か ど う か は 不 明 な こ と な ど で あ る 。 最 後 に 今 後 の 英 文 和 訳 の 採 点 の 信 頼 性 の 検 証 で 行 う 必 要 が あ る も の を 以 下 に 挙 げ る こ と に す る 。 (1)採 点 者 の ト レ ー ニ ン グ の 前 後 で ど の 程 度 採 点 間 信 頼 性 や 信 頼 性 係 数 が 向 上 す る の か (2)採 点 者 が 英 語 教 師 の 場 合 と 大 学 生・大 学 院 生 の 場 合 で 採 点 の 信 頼 性 に 差 は あ る の か (3)本 実 験 に 参 加 し て も ら っ た 採 点 者 A と B に 同 様 の 実 験 を 行 い 、 今 回 の 実 験 結 果 と 比 較 し 、 ど の 程 度 採 点 者 内 信 頼 性 が あ る の か (4)一 般 化 可 能 性 理 論 の G 研 究 お い て 、日 本 語 の 項 目 を 取 り 除 い た 場 合 、「 参 加 者 ×項 目 」の 分 散 成 分 は ど の よ う に 変 化 す る の か 上 記 の (1)か ら (4)を 検 証 す る こ と で 、頑 強 な 英 文 和 訳 の 採 点 方 法 の 考 案 に 繋 が る だ ろ う 。 し た が っ て 、 今 後 (1)か ら (4)の 検 証 を 続 け て い く こ と が 期 待 さ れ る 。文 献
[1] G. Buck, Translation as a language testing procedure: does it work?, Language Testing , vol.9, no.2, pp.123-148, December 1992.
[2] 青 木 優 子 , “英 文 和 訳 テ ス ト の 妥 当 性 調 査 , ” 関 東 甲 信 越 英 語 教 育 学 会 研 究 紀 要 , vol.14, pp.35-42, 東 京 , July 2000.
[3] Y. Ushiro, Y. Hijikata, M. Shimizu, Y. In’nami, K. Kasahara, A. Shimoda H. Mizoshita, & R. Sato, Reliability and Validity of Translation Test as a Measurement of Reading Comprehension , Annual Review of English Language Education in Japan , vol.16, pp.71-80, Gunma, May 2005.
[4] 永 原 敏 夫 , 試 験 と 学 修 , 研 究 社 , 東 京 , December 1936.
[5] 馬 場 哲 生 , “ 英 文 和 訳 テ ス ト の 功 罪 ,” 英 語 青 年 , vol.152, no.7, pp.408 -410, October 2006.
[6] 麻 生 雄 治 , “ 英 文 読 解 力 評 価 の た め の 英 文 和 訳 テ ス ト の 信 頼 性 と 妥 当 性 ,” EIKEN BULLETIN, vol.24, pp.189-197, November 2012.
[7] C. J. Weir, Language Testing Validation: An Evidence-Based Approach, Palgrave Macmillan, Hampshire, November 2005. [8] 小 泉 利 恵 , “一 般 化 可 能 性 理 論 ,” 平 井 明 代 (編 著 ), 教 育 ・ 心 理 ・ 言 語 系 研 究 の た め の デ ー タ 分 析―研 究 の 幅 を 広 げ る 統 計 手 法 , 東 京 図 書 , 東 京 , December, 2018. [9] 山 森 光 陽 , “ 一 般 化 可 能 性 理 論 を 用 い た 観 点 別 評 価 の 方 法 論 の 検 討 ,” Step Bulletin, vol.14, pp.62-70, November 2002. [10] 山 西 博 之 , “ 高 校 生 の 自 由 英 作 文 は ど の よ う に 評 価 さ れ て い る の か － 分 析 的 評 価 尺 度 と 総 合 的 評 価 尺 度 の 比 較 を 通 し て の 検 討 － ,” JALT Journal, vol.26, pp.189-205, November 2004. [11] 水 本 篤 , “ 自 由 英 作 文 に お け る 評 定 者 評 価 の 種 類 と 信 頼 性 ,” 統 計 数 理 研 究 所 共 同 研 究 リ ポ ー ト 215 「 学 習 者 コ ー パ ス の 解 析 に 基 づ く 客 観 的 作 文 評 価 指 標 の 検 討 」 ,vol.215, pp.43-49, March 2008. [12] 静 哲 人 , “こ れ で い い の か 、 大 学 入 学 英 語 問 題 −英 語 教 育 お よ び テ ス ト 理 論 の 立 場 か ら,” 英 語 青 年 , vol.152, No.1,pp.2-5, April, 2006.
[13] 金 谷 憲 , 英 語 リ ー デ ィ ン グ 論 , 河 源 社 , 東 京 , September 1995.
[14] D. Allen, “Japanese cram schools and entrance e xam washback,” The Asian Journal of Applied Linguistics, vol.3 No.1, pp.54 -67, March 2016.
[15] 江 利 川 春 雄 , 受 験 英 語 と 日 本 人 : 入 試 問 題 と 参 考 書 か ら み る 英 語 学 習 史 , 研 究 社 , 東 京 , March 2011.
[16] L. F. Bachman, Fundamental considerations in language testing , Oxford University Press, Oxford, June 1990.
[17] R. L, Brennan, Elements of generalizability theory , ACT Publications, Iowa City, December 1992.
Appendix.1
こ こ で は 紙 幅 の 都 合 上 、 英 文 和 訳 の 第 1 問 で 用 い た 採 点 基 準 を 記 す こ と に す る 。
問 題 (1） Even with good ideas and hard work, many products and businesses fail.
訳 例 :た と え 良 い 発 想 や ハ ー ド ワ ー ク が あ っ て も 、 多 く の 商 品 と ビ ジ ネ ス は 失 敗 す る 実 際 の 採 点 例 ( 1 ） E v e n wi t h g o o d i d e a s a n d h a r d wo r k , m a n y p r o d u c t s a n d b u s i n e s s e s f a i l . 文 構 造 意 味 自 然 さ 正 し さ 合 計 点 優 れ た 考 え や 大 変 な 労 力 が あ っ た と し て も 多 く の 製 品 や 経 営 は 失 敗 し て し ま う A : 3 B : 3 A : 3 B : 3 A : 3 B : 3 A : 3 B : 3 A : 1 2 B : 1 2 良 い 発 想 や ね っ し ん な 仕 事 を し た が 、多 く の 製 品 や ビ ジ ネ ス は 失 敗 す る A : 2 B : 1 A : 3 B : 3 A : 2 B : 2 A : 2 B : 2 A : 9 B : 8 忙 し い 時 に 良 い ア イ デ ア が あ る A : 0 B : 0 A : 0 B : 0 A : 0 B : 0 A : 1 B : 0 A : 1 B : 0 N o t e : A 、 B は そ れ ぞ れ 採 点 者 A 、 B を 指 し 、 数 字 は そ れ ぞ れ の 採 点 を 表 し て い る 。
