作成した機械翻訳に適した書法ルール習得テキストの検証を行うために、
本研究では3回の実験を行った。3回とは、社会人を対象とした実験、中学 生を対象とした実験、高校生を対象とした実験である。実験の方法は、作成
したテキストをそれぞれの被験者に使用してもらい、どの程度書き換え作業 が行えるかを測定した。
次に、中学生を対象とした実験と、高校生を対象にした実験においては、
韓国人留学生に対して手紙を書くという実験を行った。この実験により、テ キストを使用することでどの程度ルールの習得が可能であるかを検証した。
また、本研究で行った実験は兵庫教育大学が行う講座や中学校・高校における 授業の中で行ったため、実験時間を統一することができなかった。そのため、
テキストの課題文の量を調整することで対応し、テキストで学習活動を行うこ とが可能であるか検証を行った。
3．2社会人を対象とした実験
3．2．1実験の方法と内容
作成したテキストの有効性を検証するため、社会人を対象とした実験を行 う。この実験は兵庫教育大学の研修講座（2007年8，月実施）の中で行う。
被験者はこの研修講座に参加した6名の現職教員である。
実験を行うにあたり、あらかじめ被験者全員にアンケート調査を行い、機 械翻訳の使用経験や韓国語の知識がどの程度あるか確認する。この調査の意 図として、これまでに機械翻訳を用いて未習得言語（韓国語や中国語など）
の文章を作成した経験がある者とそうでない者がいては、テキストの使用に よるルール習得の効果が正確に測れないと考える。また、もしも被験者が韓 国語に関する知識を十分に持っている場合も、往復翻訳を行う際に、翻訳結 果として表示される韓国語を理解して、そこから書き換え作業を行ってしま うため、これもテキストの使用によるルール習得の効果が正確には測れない
と考える。アンケートの結果は、被験者6名の内数名はYahooなどの翻訳
サイトを使用したことがあるが、往復翻訳や書き換え作業を行った経験は持 っていなかった。また、韓国語に関する知識についても、本実験の結果に影 響がある程度の知識を持っている被験者はいなかった。アンケートの結果全体については、本論文の資料として添付する。
実験の内容については、被験者がインターネット上の翻訳サービスを利用 して、テキストの課題文を韓国語に翻訳する。上にも述べたが、被験者は機 械翻訳の使用の経験がなかったため、作業に先立って、機械翻訳の使い方と 往復翻訳、書き換え作業について説明を行う。その後は、約1時間テキスト の課題文を翻訳する実験を行う。そして、各被験者には、最終的に正しい韓 国語文が得られたと判断した時の入力文と、書き換えを行った回数を記録す るように指示する。
3．2．2実験の結果と分析
社会人を対象としたテキストの効果検証実験の結果を述べる。まず被験者 が記録した最終的に正しい韓国語文が得られたと判断した時の入力文が、正
しい韓国語文に翻訳できるか評価を行った。記録した入力文のすべてを、筆 者が機械翻訳を使って韓国語文に翻訳した。その文章を、韓国人留学生の協 力で、ルールの整理を行った際と同様に「文章が正しく意味が解る」「意味 は解るが文章に誤りがある」「意味が理解できない」の3段階で評価する（表
9）。
表9留学生による韓国語文の評価
評価 文の数
○ 文章が正しく意味が解る 53
△ 意味は解るが文章に誤りがある 43
× 意味が理解できない 6
各被験：者が翻訳した課題文の数は、レベル1の最初の問題文を実験前の説
明の際に例として取り上げたため、レベル1：4問、レベル2：5問、レベ ル3：4問、レベル4：4問の合計17問である。被験者が6名のため、評 価を行った韓国語文は全部で102文であった。この、韓国語文102文の うち、94％にあたる96文が、「文章が正しく意味が解る」あるいは「意
味は解るが文章に誤りがある」との評価を得た。次に、各被験者が各課題文で行った書き換え回数に注目する。課題文ごと に、6名の被験者が行った書き換え回数の平均値を表10に示す。
表10平均書き換え回数
問題番号
平均書 ｫ換え
問題番号 平均
曹ｫ ｷえ
① 1．5 ① 2．3
② 3．7 ② 2．7
レベ ルー
③ 1．5
レベノレ3
③ 2．2
④ 4．2 ④ 3．3
① 1．2 ① 2
② 1．3 ② 2．5
レベ ル2
③ 2．2
レベノレ4
③ 2．8
④ 2．5 ④ 2．8
⑤ 2．8
表10から、再編成したルール習得順でも、書き換え回数にばらつきが見 られた。レベル別に書き換え回数を見ると、レベル1の書き換え回数が最も 多かった。これは、書き換え作業に慣れていなかったという原因が考えられ る。しかし、レベル2以降の書き換え回数については、ほぼ3回以内であり、
少しずつ書き換え作業に慣れていたように見られた。
韓国語文の評価について、94％が「文章が正しく意味が解る」「意味は 解るが文章に誤りがある」との評価を得たことから、おおむね正しい韓国語
に翻訳できる入力文を数回の書き換え作業によって作成できていた。被験者 は韓国語に関する知識が無いことは確認していたので、韓国語は被験者にと って未習得言語であるが、往復翻訳と書き換え作業を行えば、機械翻訳を使 って意志を伝えることが可能であろうと考えることが出来る結果である。
3．3中学生を対象とした実験
3．3．1実験の方法と内容
機械翻訳に適した書法ルール習得テキストの効果検証実験の第2回目と して、中学生を対象とした実験を行う。対象の中学生は兵庫教育大学附属中
学校の生徒である。この実験は全3回の授業で行い、1回の授業は45分で ある。被験者は1回目と2回目の授業が8名、3回目の授：業には6名で実験 を行う。実験の内容として、1回目と2回目の授業では、社会人を対象とし た実験と同様に、テキストを用いて、課題文をそれぞれ韓国語に翻訳し、機 械翻訳に適した書法ルールを習得するための練習を行う。最終の3回目の授 業では、機械翻訳に適した書法ルールを習得し、どの程度機械翻訳に適した 文書を書くことができるか検証するため、「韓国人留学生に手紙を書く」と いう実験を行う。本実験の被験者である生徒8名に関しては、機械翻訳の利 用経験がなかったため、本実験の3回の授業よりも前の授業において、機械 翻訳の使い方や、往復翻訳、書き換え作業についての説明を行い、実験を行
う。
1回目と2回目の授業で機械翻訳に適した書法ルールを習得する練習の
ために使用したテキストは、被験者が中学生であることと、練習にかけられ る時間を考慮し、課題文の数を少し減らすこととした。1回目の授業では課題文8問、2回目の授業でも課題文8問の合計16問について、機械翻訳を
使って韓国語に翻訳する実験を行う。なお、1回目の授業の課題文8問は、社会人対象の実験で使用したテキストのレベル1とレベル2の問題から出
題されており、2回目の授業の課題文は同テキストのレベル3とレベル4の 問題から出題している。課題文の内容としては、社会人対象の実験と同じ文 章であり、問題数を減らした意外は同じ条件での実験を行う。被験者の生徒 には、社会人を対象とした実験の際と同様に、最終的に正しい韓国語に翻訳 されたと判断した入力文と、それぞれの課題文を翻訳する際に行った書き換 え回数について記録するように指示する。3回目の授業では、機械翻訳に適した書法ルールがどの程度習得できたか を検証するための実験を行う。内容は、韓国人留学生に手紙を書くというも のである。手紙は日本語で書くが、留学生に見せる際にはその文章を機械翻 訳を使って韓国語に翻訳し、韓国語の文章を読んでもらうことを説明する。
つまり、1回目と2回目の授業で学習した機械翻訳に適した書法ルールを思 い出しながら、機械翻訳に適した文章を書くということである。また、本実 験の条件として、機械翻訳を使って、正しく翻訳されるかどうか確認するこ とは行わないこととする。往復翻訳と書き換え作業も当然ながら行わないも のとする。この条件によって、生徒がテキストを使用した自学自習によって 書法ルールがどの程度習得できているか検証することができると考える。
3．3．2実験の結果
中学生を対象とした、機械翻訳に適した書法ルール習得検証実験の結果に ついて述べる。まず、1回目と2回目の授業で行った、テキストを使用した、
機械翻訳に適した書法ルール習得練習の実験について、被験者の生徒が最終 的に正しい韓国語に翻訳できたと判断した際の入力文が、正しい韓国語に翻 訳されるかどうかの評価を行った。筆者がそれぞれの入力文を機械翻訳を使 って韓国語に翻訳し、韓国人留学生の協力で「文章が正しく意味が解る」「意 味は解るが文章に誤りがある」「意味が理解できない」の3段階で評価した
（表11）。
表11留学生による韓国語文評価
評価 文の数
○ 文章が正しく意味が解る 51
△ 意味は解るが文章に誤りがある 23
× 意味が理解できない 14
解答できず 40
留学生による韓国語の評価の結果は上のようになった。1回目と2回目の 授業を合わせると被験者1人あたり16問の課題文を翻訳することとなり、
被験者8名の合計で128文の評価を行った。全体の58％にあたる74文
が「文章が正しく意味が解る」あるいは「意味は解るが文章に誤りがある」
との評価を得た。ところが、中学生を対象とした実験においては、1回あた りの実験の時間が限られていたため、解答できなかった課題文が31％の4 0文となった。
次に、被験者が各課題文を翻訳する際に行った書き換え回数の平均を表1 2に示す。