機械読解精度向上のための英文読解問題データの分析
5
0
0
全文
(2) Vol.2018-NL-238 No.9 2018/12/12. 情報処理学会研究報告 IPSJ SIG Technical Report 表 1. ば図 1 では， Q1 に対し て ， 質問文を 構成する precipitation. RACE データ セ ッ ト のサイ ズ [2] 平均語数. や fall と いっ た 自立語を 含む文を 本文中で検索し ， 当て は ま る 文の構成要素の中で解答と し て 適切な も のを 推定し て 出力し て いる ． 機械読解タ ス ク は質問応答タ ス ク の一種と 考え ら れる が， こ の例は質問応答の中でも 文章理解を 必要. 語彙数. 本文. 質問文. 選択肢. RACE-M. 231.1. 9.0. 3.9. 32,811. RACE-H. 353.1. 10.4. 5.8. 125,120. RACE. 321.9. 10.0. 5.3. 126,629. と せず語句の検索を 主軸と する 比較的単純な タ ス ク と 位置 付け る こ と ができ る ．. 類を 合わせたも のを RACE データ セッ ト と し て 用いる (表. 3. RACE データ セッ ト. 1[2])． 表 1 に 示すと おり ， 本文の語数の平均は 321.9 語と. 本文の内容の理解が必要な 質問応答タ ス ク の実現に は， ま ず， 機械読解タ ス ク の中でも 複数の文を 組み合わせて 解 答を 行う 形式の設問への対応が必要と 考え ら れる ． こ の形式の設問を 含む データ セ ッ ト と し て ， 本稿では，. RACE データ セ ッ ト [2] に 着目する ． RACE は中国の 12 歳から 18 歳の中高生向け の英語の試験問題を 元に 作成さ れた データ セ ッ ト であ り ， 27,933 個の本文と こ れに 対応す る 97,687 個の質問文から でき て いる ． それぞれの本文に対 し て 複数の設問が設定さ れて おり ， そ れぞれの設問は 4 つ の選択肢の中から 正解を 1 つ選ぶ形式であ る ． 設問の個数 は本文ごと に 異な る ． RACE データ セ ッ ト では， SQuAD と 異な り ， 本文中の 1 文のみから 解答を 推定する こ と は難 し い． RACE データ セ ッ ト の 1 例を 図 2 に 示す． 図 2 の P:. 長く ， 英文読解問題と し て は比較的内容が多い． こ のよ う に RACE データ セ ッ ト は機械読解タ ス ク の中 でも 難易度が高く ， Lai[2] ら が Gated-Attention Reader を 用いた手法で実現し た 44.1% が正解率と し て は現時点では 最高であり ， 人間の正解率 73.3%にはほど 遠い結果である ．. 4. RACE データ セッ ト の特徴 RACE データ セッ ト のよ う な 複雑な 機械読解タ スク の正 解率を 上げる に は， 正解率に 影響する 問題点を 洗い出す必 要があ る ． 本稿では， Lai ら の手法でテ ス ト データ と し て 用いら れ た設問 4,934 問 [2] を 対象と し て 考察を 行っ た． Lai ら はテ スト データ 4,934 問すべて について 本文， 質問文， 選択肢， 正解解答を 開示し て いる ．. Many best-selling milk brands such as mengniu, yili. 本研究では， Lai ら と 同様の手法で同じ テ ス ト データ に. and bright were discovered to contain melamine,. 対し て 追実験を 行っ た 結果 (表 2) を 基に ， RACE データ. which is usually used to make plastic. The bad milk. セッ ト の特徴について 考察を 行う ． 表 2 に示すと おり ， 追. products have sickened more than 5,300 babies and killed four. (後略) Q:. Why do some students stop drinking milk?. C1:. because their parents have enough time to prepare. C2:. 表 2. RACE テ ス ト データ 質問文数. 正解. 2,716 問. ( 44.1%). other foods for them.. 不正解. 2,758 問. ( 55.9%). because they get tired of drinking the same type of. 合計. 4,934 問. (100.0%). milk. C3:. because some harmful materials are found in some. 実験の結果 Lai ら の実験結果 [2] と 同じ 44.1%の正解率を. kinds of milk.. 得る こ と ができ た ．. C4:. because milk becomes more and more expensive . 図 2 RACE の設問例. う ち ， P は本文， Q は質問文， C は選択肢 (choice) であり ，. 4.1 質問文の種類 質問文の形式ごと の設問数と 正解率を 図 3 に 示す . 図 3. 赤で表示し た 選択肢 (C3) が正解であ る ． こ の例では， 質 問文に あ る some students stop drinking milk と いう 句は 本文中には出現せず， 本文全体から milk に melamine が含 ま れて いる と わかっ た こ と ， melamine を 含む bad milk を 原因と し た 被害が出て いる こ と を 読み取っ た 上で， 選択肢 そ れぞれと の関連を 推定する 必要があ る ． さ ら に こ の例で は， 正解選択肢 C3 に含ま れる harmful materials と の句は 本文中に 出現し て おら ず， こ の句が本文中の melamine の こ と を 指すと 推定する 必要があ る ．. RACE データ セッ ト のサイ ズを 表 1 に示す． RACE デー タ セ ッ ト は中学生向け の設問 (RACE-M) と 高校生向け の 設問 (RACE-H) と に 分かれて いる が， こ こ ではこ の 2 種 ⓒ 2018 Information Processing Society of Japan. 図 3 質問文の形式に よ る 正解率と 設問数の比較. 2.
(3) Vol.2018-NL-238 No.9 2018/12/12. 情報処理学会研究報告 IPSJ SIG Technical Report. では， 質問文の種類と し て ， 質問文の先頭に WH 疑問詞等. 1 つの質問文に対する 選択肢は語句のみある いは文の形等，. が出現する も の 7 種類 (what， which， why， who， where，. 形態が揃っ て おり ， 同じ 質問文に 対する 選択肢の語数が極. when， how)， 穴埋め形式の質問文， そ の他の形式の質問. 端に 異な る こ と はな い． 正解選択肢の語数が 20 以上のも. 文の合計 9 種類に 分け て そ れぞれの設問数と 正解率を 比較. のはま ばら な た め， 図 5 では語数 19 ま でを 表示し た 折れ. し て いる ． 折れ線グラ フ が， 各質問形式の正解率を 示す．. 線グラ フ は， 各語数ごと の正解率を 示す． 棒グラ フ は各語. 棒グラ フ は各質問形式の設問数であ り ， オレ ン ジ色が正解. 数ご と の正解設問数と 不正解設問数であ る ． 図 5 の結果. の設問数， 青色が不正解の設問数であ る ． 正解率は， 質問形式によ る 大き な 差は見ら れな い (図 3)． 正解率の平均は 42.3%で， 最も 低い who 型で 31.6%， 最も 高い when 型で 48.6%で あ る ． 図 3 で は who 型が特に 低 いよ う に 見え る が， who 型は設問数がテ ス ト デ ー タ 中の. 1.2%と 少な く ， 他と 比べ て 正解率が低いと は断定でき な い． こ のこ と から ， RACE テスト データ では質問形式によ る 難易度の差は大き く な いも のと 考え ら れる ． 図 3 に 示し た と おり ， こ のテ ス ト データ に は穴埋め問題 が多く 含ま れる . 穴埋め問題の割合は， テ ス ト データ 全体. 図 5. の 53.5%に 上る ． し た がっ て ， 穴埋め問題の正解率の向上. 語数に よ る 正解率と 設問数の比較. が， RACE データ セッ ト での正解率の向上に寄与する も の. よ り ， 正解選択肢内の語数が少な いほど 正解率が低いこ と. と 考え ら れる ． 穴埋め問題は， 質問文が本文の内容と 合う. が分かっ た . 選択肢内の情報が少な いた めに 正解率が落ち. よ う に 質問文内の括弧に 入る 語句を 選ぶ形式であ る ． 穴埋. た と 考え ら れる .. め問題の例を 図 4 に 示す．. 本文中に 質問文と ほぼ同様の. 図 5 を 見る と ， 語数ごと の設問数が語数 3 で一度減少し て おり ， RACE データ セッ ト の設問は語数 3 ま での短い選. Q:. according to the passage, the following are wrong except that ( ). 図 4 RACE データ セ ッ ト の穴埋め問題の例. 択肢と ， 語数 4 以上の長い選択肢と に 分け ら れる こ と がわ かる ． 表 1 にある と おり 選択肢の平均語数は 5.3 語である ． 正解選択肢の語数が少な い設問の例を 図 6 に 示す．. 内容を 持つ 1 文が含ま れる 場合に は， 穴埋め問題は文中の. Q:. it can be inferred that riva grill is ( ). 構成要素から 構文的意味的に 最適な 要素を 選択する 処理と. C1:. a supermarket. な る ． し かし ， 図 2 の例のよ う に 本文全体を 対象と し て 最. C2:. a water sports center. 適な 要素を 推定する 場合に は， 候補の絞り 込みが複雑に な. C3:. a restaurant. C4:. a mall. り ， 難易度が上がる ． 図 4 の例は本文の内容と 合わな い選. 正解. 図 6 正解選択肢の語数が少な い設問の例. 択肢を 求める 内容であ り ， こ れは本文中に 類似し て いる が 内容が異な る 記述があ る 場合と ， そ も そ も 本文中に 該当す. 選択肢の語数の少な い設問は， 図 6 の穴埋め問題のよ う に. る 記述がな い場合と が考え ら れ， さ ら に 難易度が高いも の. 文の一部分を 埋める 形式の他， WH 疑問詞に 対し て 文の形. と 考え ら れる ．. を 成さ ず語句のみで答え る 形式のも のがある ． いずれに し て も ， そ のほと んど が， 文の形を 成し て いな い． こ れに 対. 4.2 選択肢の語数. し て ， 選択肢の語数が多いも のは， 図 7 に 示すよ う に ， 穴. RACE データ セッ ト は質問文に対し て 4 つの選択肢が与. 埋め問題の場合であ っ て も ， 選択肢が文の形態であ る も の. え ら れる 形式であ る ． 選択肢を 消去法で選ぶに せよ ， 最も. が多い． 選択肢が文の形態を 成し て いな い場合には構成要. 可能性の高いも のを 推定する に せよ ， 推定処理の対象と な. Q:. we can infer from the passage that ( ). る のは選択肢の構成要素に 他な ら な い． し た がっ て ， 選択. C1:. it is a very complex process for bugs to produce oil. 肢の構成要素が少な いほど ， 推定に 用いる 情報が少な く な. C2:. it is not worthwhile for mr. pal to do the experiment. り ， 正解率が下がる 可能性が考え ら れる ． テ ス ト データ を. C3:. it is safe to use the excretion produced by bugs. C4:. it is necessary to use bugs to produce crude oil. 対象に ， 語数ごと に 正解率の比較を 行っ た 結果を 図 5 に 示 す . た だ し ， そ れぞれの設問に つ いて 選択肢が 4 個あ り ，. 図 7. 正解選択肢の語数が多い設問の例. 各選択肢の語数は一定ではな いた め， こ こ では正解選択肢. 素の間の関係が推定し 辛く ， こ のこ と が正解率を 下げる 一. の語数で各設問を グループ化し た ． すな わち ， 図 5 で語数. 因と な っ て いる 可能性が考え ら れる ．. 1 の設問は， 正解選択肢の語数が 1 の設問を 示し ， こ の設. 先に 述べた と おり 1 つの質問文に 対する 選択肢は原則と. 問の他の選択肢の語数に ついて は考慮し な い． 基本的に ，. し て 形態が統一さ れて いる ． 図 5 に 示すよ う に ， 選択肢の. ⓒ 2018 Information Processing Society of Japan. 3.
(4) Vol.2018-NL-238 No.9 2018/12/12. 情報処理学会研究報告 IPSJ SIG Technical Report. 種類は， 文の形態を 成す (図 7) か否 (図 6) かで分類でき る. と に 分け ， そ れぞれ， 正解選択肢に 含ま れる 語の本文中で. も のと 考え ら れる ．. の出現状況ご と に 設問の割合を 比較し た も のであ る ． 図. 4.3 選択肢の構成要素の本文中での出現状況 図 5 では， 正解選択肢を 構成する 語の数に よ っ て 正解率 に 差が出る こ と が示さ れた ． こ の理由と し て ， も う 1 点， 選択肢の構成要素の本文中で の出現の有無が関わる 可能 性が考え ら れる ． 語数の少な い選択肢の場合， 構成要素と な っ て いる 語が本文中に 出現し な い場合に は本文と の関連 を 推定する 材料が少な く ， 推定に 失敗する 可能性があ る ． 選択肢の語の本文中での出現状況を 調べる た め， 正解不 図 9 選択肢構成要素の本文内出現状況と 正解率. 正解に 関わら ずすべて の選択肢に ついて ， 本文中に 選択肢 内の語がど のく ら い含ま れる かの調査を 行っ た 結果を 図 8 に 示す . グラ フ の横軸は語数ごと に 選択肢を グループ化し. 9 が示すと お り ， 正解選択肢の構成要素が本文中に ひと つ も 出現し な い場合に は， 不正解の可能性が高く な る ． し か し ， 構成要素が本文中に 出現し な い正解選択肢でも 正解し て いる 設問も あ り ， 正解選択肢の構成要素の本文中での出 現の有無に よ っ て 正解率に 大き な 差が出る わけ ではな い．. RACE データ セッ ト は選択肢が与え ら れる 形式のため， 正 解選択肢が十分な 情報を 有し て いな い場合でも ， 他の選択 肢が正解の可能性が低いと 推定さ れれば， 消去法で正解選 択肢が最尤と 判定さ れる 可能性があ る ． 図 5 と 図 8 から ， 少な く と も 語数の少な い選択肢に ついて は本文中での出現 の有無が正解率に 影響を 与え て いる 可能性があり ， 今後こ 図 8 選択肢に 含ま れる 語の本文中での出現状況. た も のであ り ， 縦軸はそ れぞれのグループに 属する 選択肢 に ついて ， 本文中での語の出現状況ごと に 選択肢数を 示し た も のであ る ． 赤色は選択肢内の語が本文に ひと つも 含ま. の点に ついて さ ら に 検討する 余地があ る ． 正解の選択肢と 本文で違う 語を 使う こ と で機械が正解す る こ と ができ な かっ た RACE 設問の例を 図 10 に示す． 図 P:. at your own home. you are able to use any of your. れな い選択肢の数， 灰色は， 選択肢内の語が本文に すべて 含ま れる 選択肢の数， 黄色はそれ以外の選択肢の数を 示す．. you can decorate, preview and print your stamps all own photos as part of your postage stamp as well.. Q:. with the system of the united states postal service ,. 文に含ま れる 場合 (図 8 灰色) と 含ま れな い場合 (図 8 赤色). C1:. buy photo stamps at a very low price. のど ち ら かに 分かれる ． 図 8 では， 前置詞や冠詞のよ う な. C2:. send their international mails for free. 一般的な 語も 含めて 数え て いる た め， 語数 2 以上の選択肢. C3:. design their own photo stamps. C4:. have their letters delivered faster than before. 例え ば選択肢に 含ま れる 語数が 1 の場合に は， そ の語が本. のグループでは， 語数が多く な る に つれて 黄色 (選択肢に 含ま れる 語の一部が本文中に 出現) が増加し て いる ．. people can ( ).. 図 10. 語の言い換え が不正解の原因と 考え ら れる 例. 選択肢内の語がひ と つも 本文中に 出現し な い選択肢 (図. 10 では本文中の decorate が正解選択肢では design と 言い. 8 赤色) は， 語数 2 以上の選択肢では多く な い． そ の反面，. 換え ら れて いる ． 図 9 では語の出現状況に よ る 正解率の差. 選択肢内の語が本文に すべて 含ま れて いる 選択肢も 3 割と. は明確ではな いが， RACE テ ス ト データ 中に は図 10 のよ. 比較的少な い． こ のこ と から ， RACE デ ー タ セ ッ ト で は. う に 選択肢の中の重要な 語句が言い換え ら れて いる 例が多. 本文中に 出現し な い語を 選択肢に 頻繁に 用いる こ と がわか. 数見ら れた ． 英文読解問題では語彙知識も 採点対象と な る. る ． 図 8 を 見る と 語数が増え る に つれて 選択肢内のすべて. こ と を 考え る と ， 語の言い換え が正解率に 影響する 可能性. の語が本文中に 出現する 選択肢の割合が明ら かに 小さ く な. はあ る と 考え ら れる ．. る ． こ れは， 語数の多い選択肢では語の言い換え を 問う 設 こ こ で， 正解選択肢のみに 着目し ， 正解選択肢の構成要. 5. 類義語に着目し た機械読解タ ス ク の正解率 向上. 素の本文中で の出現状況が正解率に 与え る 影響を 考察す. こ こ ま での考察から ， RACE データ セッ ト の特徴は以下. 問が増え る 可能性を 示す．. る ． 図 9 は， テ ス ト データ を 正解し た 設問と 不正解の設問 ⓒ 2018 Information Processing Society of Japan. の 3 点に ま と めら れる ．. 4.
(5) Vol.2018-NL-238 No.9 2018/12/12. 情報処理学会研究報告 IPSJ SIG Technical Report. • 穴埋め問題が多い．. Glove6B に 加え て 220 万語を 含む Glove860B と 200 万語. • 選択肢の形態 (語句のみか， 文を 成し て いる か ) によ っ. を 含む Lexvec[4] の 3 種類で機械読解タ ス ク の実験を 行っ. て 正解率に 差があ り ， 文の形態を 成し て いな い場合の. た . Glove840B は CommonCrawl と いう ニュ ー ス サイ ト. 正解率が低い．. を 元に し て 語ベク ト ルを 生成し た 単語埋め込みであ る [3]．. • 本文中の語句を 質問文や選択肢で他の語句に 言い換え る 設問が多い． こ れら の特徴のう ち ， 3 番目の語句の言い換え は， 1 番. Lexvec はニュ ース サイ ト を 元に し て 語ベク ト ルを 生成し た 単語埋め 込みで ， いく つ かの語類似度タ ス ク に お いて. Glove よ り 良い成果を 出し て いる ． 実験の結果を 図 12 に. の穴埋め問題に も ， 2 番の語数の少な い選択肢の問題に も. 示す . グラ フ の横軸は使用し た 単語埋め込みを ， 縦軸は各. 影響を 与え る 項目であ る ． そ こ で， 正解率向上の１ 要素と. 単語埋め込みの機械読解タ スク での正解率を 示す． こ の 3. し て ， 言い換え への対応を 考え る ． 本文中の語句が質問文 や選択肢で他の語句に 言い換え ら れて いる 場合， こ れら の 語句同士の関連を 推定し 類義語句を ま と める こ と ができ れ ば， 正解率の向上が期待でき る ．. 5.1 単語埋め込みによ る 類義語対応 単語埋め込みと は， 語と 語の類似度を 測る た めに 語を ベ ク ト ル表現に置き 換え て ， 語同士の距離を 測る 手法である ． 本稿では， 単語埋め込みの次元数と 語数と に ついて ， そ れぞれ比較実験を 行っ た ． 図 12. 5.2 単語埋め込み次元数の影響. 単語埋め込み語数ごと の機械読解タ ス ク 正解率. 種類の比較では， 単語数 40 万語の Glove6B が最も 正解率. 単 語 埋 め 込 み に は Glove[3] の Glove6B を 利 用 す る ．. が高い． し かし ， 単語数 200 万語の Lexvec と 220 万語の. Glove6B は Wikipedia の記事から 語ベク ト ルを 生成し たも. Glove840B では Glove840B の方が正解率は高く ， 正解率. ので， 40 万語を 含んでいる ． 次元数と 類義語の認識率の関. の差は単語数の違いよ り も むし ろ 含ま れる 語彙に よ る も の. 係を 調べる ため Glove6B の次元数を 50， 100， 200， 300 と. と 考え る こ と ができ る ． こ れは， RACE データ セッ ト が中. 変え て 語情報を 増やし て 実験を 行っ た 結果を 図 11 に 示す .. 高生向け の問題であ り ， 語彙が約 13 万語 (表 1) と 比較的. 横軸は Glove6B の次元数， 縦軸に各次元数での正解率を 示. 小さ いた めと 考え ら れる ．. す．. 語の次元数を 増し て 語情報を 増やすと 類義語の認識. 6. ま と め 機械読解タ ス ク は， 複雑な 問題に 対応し 得る 質問応答シ ス テ ム の実現に 絡む， 興味深いタ ス ク であ る ． 機械読解タ ス ク は未だ十分な 正解率を 達成し て いる と は言え ず， 本稿 ではそ の改善を 目的と し て ， 比較的複雑な 設問から 成る 英 文読解問題データ セ ッ ト に ついて 考察を 行っ た ． 本稿では 本文と 設問と の間の語句の言い換え が正解率の向上に 関与 する 可能性を 指摘し た ． ま た 本稿では， こ れを 類義語の問 題と 捉え て 単語埋め込みに よ る 正解率向上の可能性を 検討 し た 結果に ついて 報告し た 。 参考文献. 図 11. 単語埋め込み次元数ごと の機械読解タ ス ク 正解率. 率が上がり ， 機械読解タ ス ク の正解率が向上する (図 11)．. [1]. [2]. Glove6B では 300 次元以上のデータ がな いため次元数がさ ら に 増え た 場合に ついて は確認でき て いな いが， 次元数を 絞り 過ぎ る と 正解率が下がる 恐れがあ り ， 適切な 次元数に ついて さ ら に 考察が必要であ る ．. 5.3 単語埋め込みでの語数の影響 単語埋め込みの語数の影響を 調べる ため， 語数 40 万語の ⓒ 2018 Information Processing Society of Japan. [3]. [4]. Rajpurkar, P., Zhang, J., Lopyrev, K. and Liang, P.: SQuAD: 100, 000+ Questions for Machine Comprehension of Text, CoRR, Vol. abs/1606.05250, (2016). Lai, G., Xie, Q., Liu, H., Yang, Y. and Hovy, E. H.: RACE: Large-scale ReAding Comprehension Dataset From Examinations, CoRR, Vol. abs/1704.04683, (2017). Pennington, J., Socher, R. and Manning, C. D.: GloVe: Global Vectors for Word Representation, pp. 1532–1543 (2014). Salle, A., Idiart, M. and Villavicencio, A.: Enhancing the LexVec Distributed Word Representation Model Using Positional Contexts and External Memory, CoRR, Vol. abs/1606.01283, (2016).. 5.
(6)
図
関連したドキュメント
○経済学部志願者は、TOEIC Ⓡ Listening & Reading Test、英検、TOEFL のいずれかの スコアを提出してください。（TOEIC Ⓡ Listening & Reading Test
※ CMB 解析や PMF 解析で分類されなかった濃度はその他とした。 CMB
また、ダストの放出量（解体作業時）について、2 号機の建屋オペレーティ ングフロア上部の解体作業は、1
The objective of this course is to encourage students to grasp the general meaning of English texts through rapid reading (skills for this type of reading will be developed
解析実行からの流れで遷移した場合、直前の解析を元に全ての必要なパスがセットされた状態になりま
本章における試験解析では、石垣島沖と仙台沖の 2 海域で解析を行った。石垣島沖のデー タでは解析により SDB（衛星海底地形図）が得られ、Lyzenga (1978)
データ取得 系統運⽤・需給運⽤ 分析・解析
