考察

個別実験において，提案システムを用いない場合での実験結果と，提案システムを用いた 場合での実験結果を比較する．提案システムを用いない場合での実験では，実験協力者全員 が論文番号「A-1」「A-2」「B-1」「B-2」の論文4本に対してタスクに取り組んだ．提案シス テムを用いた場合での実験では，IDが奇数の実験協力者が論文A-1と論文A-2のタスクに 取り組み，IDが偶数の実験協力者が論文B-1と論文B-2のタスクに取り組んでいる．その ため，比較方法としては，論文A-1と論文A-2は，IDが奇数の実験協力者の回答結果を比 較し，論文B-1と論文B-2はIDが偶数の実験協力者の回答結果を比較する．

図4-16に，各タスクの回答を適合率によって比較した結果を示す．

図4-16 比較結果（適合率）

図より，序論の課題文と，今後の課題文の適合率が明確に向上していることがわかる．

また，本論の研究内容文についても，他と比較して低いものの，適合率が向上していること がわかる．そのため，この3つのタスクについては，可視化機能によって，該当文の判別が 容易になったことが正しく解答できたことに貢献したと考える．一方で，序論の研究内容文 と，実験結果文については適合率に変化が見られなかった．序論の研究内容文については，

他の構成要素よりも判別が容易であることが原因であると考えられる．また，実験結果文に ついても，実験グラフを示した後に書かれる傾向にあることから，判別が容易であることが 原因と考えられる．

0.627

0.708

0.211

0.704

0.788

0.750 0.729

0.323

0.726

0.963

0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000

課題文 研究内容文(序論) 研究内容文(本論) 実験結果文 今後の課題文 支援なし 支援あり

115

図4-17に，各タスクの回答を再現率によって比較した結果を示す．

図4-17 比較結果（再現率）

図より，序論の課題，本論の研究内容文，実験結果文の再現率が明確に向上しているこ とがわかる．そのため，この3つのタスクについては，可視化機能によって該当文を可視化 することで，提案システムを用いない場合では判別できなかった文を抽出できていること がわかった．一方で，序論の研究内容文と，今後の課題文については再現率に変化が見られ なかった．序論の研究内容文については，序論の後半かつ段落の最初に書かれやすい傾向に あるため，他の構成要素よりも記載位置を考慮して読み取ることが可能であることが原因 であると考えられる．また，今後の課題文についても，結論の最後に書かれやすい傾向にあ ることが原因と考えられる．

0.617 0.630

0.526

0.704 0.722

0.750

0.648 0.654

0.833

0.722

0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000

課題文 研究内容文(序論) 研究内容文(本論) 実験結果文 今後の課題文 支援なし 支援あり

116

図4-18に，各タスクの回答をF値によって比較した結果を示す．

図4-18 比較結果（F値）

図より，序論の課題文と本論の研究内容文において，F 値が明確に向上していることが わかる．序論の課題文については， 記載位置が予測しづらく，通常閲覧時に特に意思して 読んでいない文であるため，閲覧支援効果が表れやすいと考える．本論の研究内容文につい ては，抽出対象となる本論は他よりも文量が多く，通常閲覧時に判別が非常に難しいため，

閲覧支援効果が現れやすいと考える．

一方で，序論の研究内容文については F 値にほとんど変化が見られなかった．このこと から，序論の研究内容文については閲覧支援効果が表れていないことがわかった．

0.622 0.667

0.301

0.704 0.754

0.750

0.686

0.432

0.776 0.825

0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000

課題文 研究内容文(序論) 研究内容文(本論) 実験結果文 今後の課題文 支援なし 支援あり

117

個別実験において，提案システムを用いない場合と，提案システムを用いた場合における 実験の回答時間を比較する．比較対象者は，提案システムを用いない場合の実験の様子を録 画している実験協力者ID:2,6,8,10,11,12の6名である．実験協力者ID:11は論文A-1，A-2の 回答時間を比較し，実験協力者ID:2,6,8,10,12は論文B-1,B-2の回答時間で比較する．図 4-19に各タスクの平均回答時間を比較した結果を示す．

図4-19 比較結果（平均回答時間）

図4-19を見ると，課題文，実験章の実験結果文，結論の今後の課題文において回答時間 が短縮されており，序論と本論の研究内容文において回答時間が増加していることがわか る．課題文については，序論全体での記載位置や段落内での記載位置が論文によって異なる 傾向にあるため，可視化する支援を行うことで，判別する時間が短縮されていると考えられ る．それに対して，序論の研究内容文については、可視化されている複数の該当文の中から 正解となる研究内容文を判別する時間が，回答時間の増加に繋がったと考えられる．本論の 研究内容文の回答時間については，提案システムの可視化画面の表示方法が増加の要因と なったと考えられる．予め設定した研究内容文の多くは，段落の先頭文に位置しているもの が多いため，通常の論文閲覧時は，段落に着目して抽出することができたが，提案システム は段落ごとに区切って表示していないため，判別までの時間が増加したと思われる．実験結 果文と今後の課題文については，閲覧支援画面において序論，本論，実験章，結論をタブで 切り替えて表示していることが，回答時間の短縮の要因に繋がっていると考えられる．

40

27

97

38 31

28 33

129

23

15

0 20 40 60 80 100 120 140

課題文 研究内容文(序論) 研究内容文(本論) 実験結果文 今後の課題文 支援なし 支援あり

118

アンケート結果を元に，提案システムがどのような利用者に対して有効であるのか考察 を行う．具体的には，提案システムを用いない場合での実験結果と比べて，提案システムを 用いた場合での実験結果の方が良い実験協力者の傾向について考察する．

研究経験が浅い実験協力者のアンケート結果と，提案システムを用いない場合での実験 と提案システムを用いた場合での実験の結果を比較した結果を表4.39に示す．〇は「向上」

を指し，「×」は低下を指す．

表4.39 研究経験が浅い実験協力者の考察

表より研究経験が浅い実験協力者全員の適合率が向上していることがわかる．再現率で は，実験協力者ID:1,2を除く4名が向上しており，F値では，実験協力者ID:1以外の5名 が向上している．論文閲覧方方法との相関を見ると，唯一F値が低下している実験協力者 ID:1だけが，論文閲覧方法において「1.じっくり読む」と回答しており，F値が向上した5 名については「2.ある程度飛ばし読みする」または「3.飛ばし読みする」と回答してい る．このことから，飛ばし読みする傾向にある研究経験が浅い実験協力者に対しては，提 案システムが有効であったと考えられる．

研究経験が長い実験協力者のアンケート結果と，提案システムを用いない場合での実験 と提案システムを用いた場合での実験の結果を比較した結果を表4.30に示す．

表4.40 研究経験が長い実験協力者の考察

表より実験協力者ID:3,7は全ての指標において向上しており，それ以外の実験協力者は 低下していることがわかる．論文閲覧方法との相関を見ると，「1.じっくり読む」と回答し ている実験協力者4名のうち，3名は全ての指標において低下している．向上した実験協

実験協力者ID 1 2 5 6 9 10 閲覧方法 1 3 2 2 3 3 閲覧頻度 2 2 2 3 4 2 経験年数 1 2 1 2 1 2 適合率 〇 〇 〇 〇 〇 〇 再現率 × × 〇 〇 〇 〇 F値 × 〇 〇 〇 〇 〇

実験協力者ID 3 4 7 8 11 12 閲覧方法 3 1 1 1 1 2 閲覧頻度 3 4 0 2 3 3 経験年数 3 4 3 6 3 3 適合率 〇 × 〇 × × × 再現率 〇 × 〇 × × × F値 〇 × 〇 × × ×

119

力者ID:7については普段から日本語論文をほとんど読まないため，提案システムが有効で あったと考えられる．「2.ある程度飛ばし読みする」と回答した実験協力者ID:12は全ての 指標において低下しており，「3.飛ばし読みする」と回答した実験協力者ID:3については 向上している．このことから，研究経験が長く，かつ普段から論文をじっくり読む傾向に ある実験協力者に対しては，提案システムは有効でないことがわかった．

論文閲覧方法の観点で見た上でのF値の比較結果を図4-20に示す．下の軸に示されてい る数字は回答者の人数に該当する．

図4-20 論文閲覧方法でみた比較結果

図4-20より，論文閲覧方法において「じっくり読む」と回答した実験協力者5名のう ち，4名はF値が低下していることがわかる．それに対して，「ある程度飛ばし読みする」

と回答した実験協力者3名のうち2名が向上し，「飛ばし読みする」と回答した実験協力 者4名全員が向上している．提案システムは論文から短時間で重要文を判別する支援を行 っているため，普段から論文を短時間で飛ばし読みする人に対しては有効であったと思わ れる．逆に，普段から論文をじっくり読む人に対しては，提案システムによる支援は普段 は行わない読み方を促しているため，有効でなかったと考えられる．

0 1 2 3 4 5 6

飛ばし読みする ある程度飛ばし読みする じっくり読む

向上 低下