第 4 章 論文閲覧支援システム
4.3 提案システムの評価実験
4.3.2 実験結果
提案システムを用いない場合での個別実験の実験結果を示す．表4.14にタスク1（序論の 課題文），表4.15にタスク2（序論の研究内容文）の実験結果を示す．表には，各論文に対 する実験協力者の回答の適合率と再現率を示しており，最下部に示されている「全体」は，
実験協力者12名全員の適合率・再現率を平均したものである．また，右に示されている「全 体」は論文4本に対する実験協力者12名それぞれの回答を合算した上での適合率，再現率，
F値を示している．
表4.14 タスク1（序論の課題文）の実験結果
表4.15 タスク2（序論の研究内容文）の実験結果
タスク1について全体の結果を見ると，適合率が再現率を上回っている傾向にあるが，適 合率が再現率を上回っている実験協力者は12名中4名であった．タスク2についても同様 な傾向が見られるが，適合率が再現率を上回っている実験協力者は6名であった．
ID 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 F値 1 0.800 1.000 0.667 1.000 1.000 0.500 0.500 0.500 0.727 0.800 0.762 2 0.500 0.500 0.667 1.000 0.000 0.000 0.667 1.000 0.500 0.600 0.545 3 1.000 0.500 0.667 1.000 0.500 0.500 0.667 1.000 0.700 0.700 0.700 4 1.000 0.250 1.000 1.000 1.000 0.500 1.000 0.500 1.000 0.500 0.667 5 1.000 0.250 0.000 0.000 0.500 0.500 0.400 1.000 0.400 0.400 0.400 6 1.000 0.500 1.000 1.000 0.500 0.500 0.500 1.000 0.700 0.700 0.700 7 0.667 0.500 0.000 0.000 0.500 0.500 0.500 1.000 0.500 0.500 0.500 8 1.000 0.250 1.000 1.000 1.000 1.000 1.000 0.500 1.000 0.600 0.750 9 1.000 0.500 0.667 1.000 0.500 0.500 0.333 0.500 0.600 0.600 0.600 10 0.667 0.500 0.667 1.000 0.250 0.500 0.333 0.500 0.462 0.600 0.522 11 1.000 1.000 1.000 0.500 1.000 0.500 1.000 0.500 1.000 0.700 0.824 12 1.000 0.250 1.000 1.000 0.333 0.500 0.667 1.000 0.667 0.600 0.632 全体 0.886 0.500 0.694 0.792 0.590 0.500 0.631 0.750 0.646 0.608 0.627
B－1 B－2 全体
A－1 A－2
ID 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 F値 1 1.000 1.000 0.500 0.500 1.000 0.500 1.000 1.000 0.875 0.778 0.824 2 1.000 1.000 1.000 1.000 1.000 0.500 0.500 0.500 0.750 0.667 0.706 3 1.000 1.000 0.667 1.000 1.000 0.500 1.000 1.000 0.889 0.889 0.889 4 1.000 1.000 1.000 0.500 1.000 0.500 1.000 1.000 1.000 0.778 0.875 5 1.000 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.778 0.778 0.778 6 1.000 1.000 0.400 1.000 1.000 0.500 0.500 0.500 0.545 0.667 0.600 7 1.000 1.000 0.000 0.000 1.000 0.500 1.000 0.500 0.667 0.444 0.533 8 0.500 1.000 0.500 1.000 0.500 0.500 1.000 1.000 0.667 0.889 0.762 9 0.000 0.000 0.000 0.000 1.000 0.500 1.000 1.000 0.833 0.556 0.667 10 0.250 1.000 0.667 1.000 0.250 0.500 0.667 0.500 0.429 0.667 0.522 11 1.000 1.000 1.000 1.000 1.000 0.500 0.250 0.250 0.625 0.556 0.588 12 0.333 1.000 1.000 1.000 1.000 0.500 1.000 0.500 0.750 0.667 0.706 全体 0.757 0.917 0.644 0.750 0.813 0.458 0.826 0.729 0.708 0.694 0.701
A－2 B－1 B－2 全体
A－1
95
表4.16にタスク3（本論の研究内容文）の実験結果を示し，表4.17にタスク4（実験章の 実験結果文）の実験結果を示す．
表4.16 タスク3（本論の研究内容文）の実験結果
表4.17 タスク4（実験章の実験結果文）の実験結果
タスク3の全体結果を見ると，適合率が0.218と非常に低い値であり，実験協力者の中 で一番高くても0.353という結果となった．このことから，本論から研究内容を抽出する作 業は難易度が高いことが示された．タスク 4 については再現率が適合率を上回っている傾 向が見られた．
ID 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 F値 1 0.000 0.000 1.000 0.333 0.200 0.333 0.200 0.333 0.214 0.231 0.222 2 0.200 0.750 0.095 0.667 0.429 1.000 0.176 1.000 0.183 0.846 0.301 3 0.143 0.250 0.000 0.000 0.667 0.667 0.400 0.667 0.333 0.385 0.357 4 0.333 0.500 1.000 0.333 0.667 0.667 0.143 0.333 0.353 0.462 0.400 5 0.250 0.250 0.500 0.667 0.333 0.333 0.200 0.333 0.313 0.385 0.345 6 0.000 0.000 0.500 0.667 0.333 0.333 0.250 0.333 0.286 0.308 0.296 7 0.143 0.750 0.100 0.667 0.133 0.667 0.154 0.667 0.130 0.692 0.220 8 0.000 0.000 0.750 1.000 0.167 1.000 0.200 0.333 0.226 0.538 0.318 9 0.000 0.000 1.000 0.333 0.333 0.667 0.429 1.000 0.353 0.462 0.400 10 0.130 0.750 0.600 1.000 0.125 0.333 0.176 1.000 0.189 0.769 0.303 11 0.120 0.750 0.600 1.000 0.400 0.667 0.154 0.667 0.208 0.769 0.328 12 0.125 0.250 0.125 0.333 0.333 0.667 0.600 1.000 0.259 0.538 0.350 全体 0.120 0.354 0.523 0.583 0.343 0.611 0.257 0.639 0.218 0.532 0.309
A－2 B－1 B－2 全体
A－1
ID 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 F値 1 0.000 0.000 1.000 1.000 0.667 1.000 1.000 1.000 0.700 0.778 0.737 2 0.333 0.500 0.667 0.667 1.000 1.000 1.000 1.000 0.700 0.778 0.737 3 0.000 0.000 0.000 0.000 1.000 0.500 1.000 1.000 0.500 0.333 0.400 4 0.000 0.000 1.000 1.000 1.000 1.000 1.000 1.000 0.875 0.778 0.824 5 0.000 0.000 1.000 1.000 0.667 1.000 1.000 1.000 0.778 0.778 0.778 6 0.500 1.000 1.000 1.000 0.667 1.000 1.000 1.000 0.750 1.000 0.857 7 0.000 0.000 1.000 1.000 1.000 1.000 0.000 0.000 0.833 0.556 0.667 8 0.333 1.000 0.500 1.000 1.000 1.000 0.667 1.000 0.529 1.000 0.692 9 0.000 0.000 0.600 1.000 1.000 1.000 1.000 0.500 0.667 0.667 0.667 10 0.400 1.000 1.000 1.000 0.000 0.000 1.000 1.000 0.700 0.778 0.737 11 1.000 0.500 0.429 1.000 1.000 1.000 1.000 1.000 0.667 0.889 0.762 12 1.000 0.500 1.000 1.000 1.000 1.000 1.000 1.000 1.000 0.889 0.941 全体 0.297 0.375 0.766 0.889 0.833 0.875 0.889 0.875 0.709 0.769 0.738
A－2 B－1 B－2 全体
A－1
96
表4.18に結論の「今後の課題文を抽出するタスクの実験結果を示し，表4.19にタスク3
（本論の「研究内容」）以外のタスクの実験結果を合算した表を示す．前述の通り，タスク 3に限り，一部適合率が著しく低い回答が複数確認されており，合算した場合，全体の適合 率が大きく下がるため，タスク3の結果は除いている．また，タスク5におけるB-1の論文 には，結論に「今後の課題」が元々書かれていなかったため，全員が誤って回答することは なかった．
表4.18 タスク5（結論の研究成果文）の実験結果
表4.19 全体の実験結果（タスク3を除く）
タスク5の全体結果を見ると，適合率が再現率を上回っていることがわかる．全体の実 験結果を見ると，適合率が再現率を上回っていた実験協力者が6名であり，その逆の傾向で ある実験協力者が6名であったため，実験協力者ごとに抽出の方針が異なることがわかる．
ID 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 F値 1 1.000 1.000 1.000 0.667 0.000 0.000 1.000 1.000 1.000 1.000 1.000 2 1.000 1.000 1.000 0.667 0.000 0.000 1.000 0.500 1.000 0.833 0.909 3 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.571 0.667 0.615 4 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.800 0.667 0.727 5 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.800 0.667 0.727 6 1.000 1.000 1.000 0.667 0.000 0.000 1.000 1.000 1.000 1.000 1.000 7 1.000 1.000 1.000 0.333 0.000 0.000 0.000 0.000 1.000 0.500 0.667 8 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.667 0.667 0.667 9 1.000 1.000 0.000 0.000 0.000 0.000 1.000 1.000 0.800 0.667 0.727 10 0.500 1.000 0.000 0.000 0.000 0.000 0.667 1.000 0.571 0.667 0.615 11 1.000 0.500 1.000 0.333 0.000 0.000 1.000 0.500 1.000 0.500 0.667 12 1.000 1.000 1.000 0.333 0.000 0.000 0.667 1.000 0.833 0.833 0.833 全体 0.958 0.958 0.500 0.250 0.000 0.000 0.861 0.833 0.813 0.722 0.765
A－2 B－1 B－2 全体
A－1
ID 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 適合率 再現率 F値 1 0.700 0.778 0.800 0.889 0.667 0.667 0.900 0.900 0.778 0.848 0.812 2 0.600 0.667 0.800 0.889 0.600 0.500 0.700 0.700 0.686 0.727 0.706 3 0.625 0.556 0.444 0.444 0.750 0.500 0.909 1.000 0.688 0.667 0.677 4 0.800 0.444 0.857 0.667 1.000 0.667 1.000 0.900 0.920 0.697 0.793 5 0.800 0.444 0.625 0.556 0.429 0.500 0.769 1.000 0.667 0.667 0.667 6 0.778 0.778 0.750 1.000 0.667 0.667 0.667 0.800 0.718 0.848 0.778 7 0.714 0.556 0.571 0.444 0.800 0.667 0.667 0.400 0.680 0.515 0.586 8 0.545 0.667 0.500 0.778 0.833 0.833 0.900 0.900 0.659 0.818 0.730 9 0.800 0.444 0.500 0.556 0.800 0.667 0.800 0.800 0.700 0.636 0.667 10 0.438 0.778 0.778 0.778 0.250 0.333 0.636 0.700 0.523 0.697 0.597 11 1.000 0.778 0.636 0.778 1.000 0.667 0.625 0.500 0.767 0.697 0.730 12 0.714 0.556 1.000 0.889 0.667 0.667 0.800 0.800 0.806 0.758 0.781 全体 0.710 0.620 0.689 0.722 0.705 0.611 0.781 0.783 0.706 0.715 0.710
A－2 B－1 B－2 全体
A－1
97
提案システムを用いた場合での個別実験の実験結果を示す．タスク1（序論の課題文）の 実験結果として，表4.20にグループ Aの実験結果，表4.21 にグループBの実験結果を示 す．
表4.20 タスク1（序論の課題文）の実験結果-グループA
表4.21 タスク1（序論の課題文）の実験結果-グループB
グループAの結果を見ると，適合率と再現率が共に0.8を上回っており，F値も0.911で あることから提案システムの支援効果が示された．グループ B の結果では，実験協力者
ID:2,8のF値が0.7未満であり，提案システムを用いない場合の実験結果を下回っているこ
とから，この2名については十分な支援効果がなかったと考える．
1 3 5 7 9 11 合計
適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 0.750 0.500 0.750 0.750 0.750 0.750 0.708 適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 1.000 1.000 1.000 0.667 1.000 1.000 0.944 適合率 0.750 1.000 1.000 0.000 1.000 1.000 0.792 再現率 1.000 1.000 1.000 0.000 1.000 1.000 0.833 適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 1.000 1.000 1.000 0.500 1.000 0.750 0.875 適合率 0.938 1.000 1.000 0.900 1.000 1.000 0.976 再現率 0.938 0.875 0.938 0.563 0.938 0.875 0.854 F値 0.938 0.933 0.968 0.692 0.968 0.933 0.911 A-5
全体 ID A-1
A-2
A-3
A-4
2 4 6 8 10 12 合計
適合率 0.000 0.000 1.000 1.000 0.500 1.000 0.583 再現率 0.000 0.500 0.500 0.500 0.500 0.500 0.417 適合率 0.500 0.333 0.667 0.250 0.500 0.500 0.458 再現率 1.000 1.000 1.000 0.500 1.000 1.000 0.917 適合率 1.000 0.500 1.000 1.000 1.000 1.000 0.917 再現率 0.333 0.333 1.000 0.333 1.000 1.000 0.667 適合率 0.500 0.000 1.000 1.000 0.500 1.000 0.667 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 1.000 0.500 1.000 1.000 1.000 1.000 0.917 再現率 1.000 0.333 1.000 1.000 1.000 1.000 0.889 適合率 0.700 0.462 0.909 0.700 0.714 0.833 0.714 再現率 0.636 0.545 0.909 0.636 0.909 0.909 0.758 F値 0.667 0.500 0.909 0.667 0.800 0.870 0.735 B-4
B-5
全体 B-1
B-2
B-3 ID
98
タスク 2（序論の研究内容文）の実験結果として，表4.22にグループ Aの実験結果，表 4.23にグループBの実験結果を示す．
表4.22 タスク2（序論の研究内容文）の実験結果-グループA
表4.23 タスク2（序論の研究文）の実験結果-グループB
グループ A の結果を見ると，再現率が適合率を上回っている傾向にあることがわかる．
それに対して，グループ Bの全体結果の合計では適合率と再現率がほぼ同等の数値を示し ていた．
1 3 5 7 9 11 合計
適合率 1.000 0.500 1.000 1.000 1.000 1.000 0.917 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 1.000 0.667 1.000 1.000 0.500 0.500 0.778 再現率 0.500 1.000 1.000 1.000 1.000 0.500 0.833 適合率 1.000 0.667 0.500 0.667 0.500 0.667 0.667 再現率 0.500 1.000 1.000 1.000 1.000 1.000 0.917 適合率 1.000 1.000 1.000 0.667 0.600 0.667 0.822 再現率 1.000 1.000 0.333 0.667 1.000 0.667 0.778 適合率 1.000 0.667 1.000 0.500 0.500 0.667 0.722 再現率 0.500 1.000 0.500 0.500 1.000 1.000 0.750 適合率 1.000 0.714 0.778 0.727 0.556 0.667 0.704 再現率 0.700 1.000 0.700 0.800 1.000 0.800 0.833 F値 0.824 0.833 0.737 0.762 0.714 0.727 0.763 A-5
全体 ID A-1
A-2
A-3
A-4
2 4 6 8 10 12 合計
適合率 0.000 0.000 0.500 0.333 0.500 0.500 0.306 再現率 0.000 0.000 0.500 0.500 0.500 0.500 0.333 適合率 1.000 1.000 1.000 1.000 0.800 0.500 0.883 再現率 0.250 0.500 0.500 1.000 1.000 0.500 0.625 適合率 0.250 1.000 0.400 0.500 0.500 1.000 0.608 再現率 0.500 0.500 1.000 1.000 1.000 1.000 0.833 適合率 1.000 0.000 0.500 0.667 1.000 1.000 0.694 再現率 0.500 0.000 0.500 1.000 1.000 1.000 0.667 適合率 0.500 0.500 1.000 0.333 0.500 1.000 0.639 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 0.500 0.800 0.583 0.588 0.667 0.727 0.632 再現率 0.364 0.364 0.636 0.909 0.909 0.727 0.652 F値 0.421 0.500 0.609 0.714 0.769 0.727 0.642 B-5
全体 ID B-1
B-2
B-3
B-4
99
タスク 3（本論の研究内容文）の実験結果として，表4.24にグループ Aの実験結果，表 4.25にグループBの実験結果を示す．
表4.24 タスク3（本論の研究内容文）の実験結果-グループA
表4.25 タスク3（本論の研究文）の実験結果-グループB
グループA，Bの全体結果では，適合率が0.35前後と，提案システムを用いない場合で の実験と同様に，低い値を示している．グループA，Bの再現率を比較すると，グループ Bの方が高いことがわかる．
1 3 5 7 9 11 合計
適合率 0.333 1.000 0.000 0.750 0.375 0.167 0.438 再現率 0.500 0.500 0.000 0.750 0.750 0.750 0.542 適合率 0.500 0.286 0.600 0.095 1.000 0.600 0.513 再現率 0.667 0.667 1.000 0.667 0.333 1.000 0.722 適合率 0.667 1.000 0.400 0.143 0.500 0.500 0.535 再現率 0.667 0.667 0.667 0.333 0.333 1.000 0.611 適合率 0.500 1.000 0.667 0.214 0.667 0.300 0.558 再現率 0.400 0.600 0.800 0.600 0.400 0.600 0.567 適合率 0.500 0.167 0.200 0.188 1.000 0.364 0.403 再現率 0.500 0.250 0.250 0.750 0.750 1.000 0.583 適合率 0.476 0.500 0.417 0.194 0.588 0.320 0.351 再現率 0.526 0.526 0.526 0.632 0.526 0.842 0.596 F値 0.500 0.513 0.465 0.296 0.556 0.464 0.442 ID
A-1
A-2
A-3
A-4
A-5
全体
2 4 6 8 10 12 合計
適合率 0.600 0.000 0.600 0.400 0.333 0.182 0.353 再現率 1.000 0.000 1.000 0.667 0.333 0.667 0.611 適合率 0.231 1.000 0.333 0.429 0.400 0.250 0.440 再現率 1.000 0.333 0.667 1.000 0.667 1.000 0.778 適合率 0.500 0.333 0.429 0.400 0.333 0.308 0.384 再現率 0.600 0.200 0.600 0.800 0.800 0.800 0.633 適合率 0.000 0.250 0.333 0.000 0.286 0.000 0.145 再現率 0.000 0.500 1.000 0.000 1.000 0.000 0.417 適合率 0.400 0.333 0.600 0.375 0.667 0.500 0.479 再現率 0.667 0.333 1.000 1.000 0.667 0.667 0.722 適合率 0.344 0.333 0.448 0.343 0.367 0.275 0.348 再現率 0.786 0.286 0.929 0.857 0.786 0.786 0.738 F値 0.478 0.308 0.605 0.490 0.500 0.407 0.473 B-5
全体 B-1
B-2
B-3
B-4 ID
100
タスク 4（実験章の実験結果文）の実験結果として，表4.26にグループAの実験結果，
表4.27にグループBの実験結果を示す．
表4.26 タスク4（実験章の「実験結果」）の実験結果-グループA
表4.27 タスク4（実験章の「実験結果」）の実験結果-グループB
グループA，Bの全体結果では，共に再現率が適合率を上回っており，実験章の実験結 果文については，閲覧支援効果が表れていると思われる．
1 3 5 7 9 11 合計
適合率 0.000 0.400 0.667 0.667 0.667 0.000 0.400 再現率 0.000 1.000 1.000 1.000 1.000 0.000 0.667 適合率 1.000 0.333 1.000 0.600 0.600 0.600 0.689 再現率 1.000 0.333 1.000 1.000 1.000 1.000 0.889 適合率 0.333 0.333 0.000 0.500 0.500 0.333 0.333 再現率 0.500 0.500 0.000 1.000 1.000 0.500 0.583 適合率 1.000 0.667 1.000 1.000 1.000 1.000 0.944 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 0.400 1.000 0.500 0.500 1.000 0.400 0.633 再現率 1.000 0.500 0.500 0.500 1.000 1.000 0.750 適合率 0.571 0.467 0.800 0.625 0.688 0.471 0.591 再現率 0.727 0.636 0.727 0.909 1.000 0.727 0.788 F値 0.640 0.538 0.762 0.741 0.815 0.571 0.675 全体
A-3
A-4
A-5 ID A-1
A-2
2 4 6 8 10 12 合計
適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 0.500 0.500 1.000 1.000 1.000 0.500 0.750 適合率 0.500 0.667 0.500 0.667 0.250 0.667 0.542 再現率 0.500 1.000 0.500 1.000 0.500 1.000 0.750 適合率 0.000 0.000 0.667 0.667 0.667 0.000 0.333 再現率 0.000 0.000 1.000 1.000 1.000 1.000 0.667 適合率 0.500 0.000 0.333 0.333 0.333 1.000 0.417 再現率 1.000 0.000 1.000 1.000 1.000 1.000 0.833 適合率 0.500 0.500 0.667 0.692 0.571 0.727 0.614 再現率 0.556 0.556 0.889 1.000 0.889 0.889 0.796 F値 0.526 0.526 0.762 0.818 0.696 0.800 0.694 B-5
全体 B-2
B-3
B-4 ID B-1
101
タスク 5（結論の今後の課題文）の実験結果として，表4.28にグループAの実験結果，
表4.29にグループBの実験結果を示す．
表4.28 タスク5（結論の今後の課題文）の実験結果-グループA
表4.29 タスク3（結論の今後の課題文）の実験結果-グループB
グループA，Bの全体結果では，共に適合率が再現率を上回っており，高い値を示して いることがわかる．このことから，今後の課題文については，該当文を可視化すること で，閲覧支援効果が表れていることがわかる．
1 3 5 7 9 11 合計
適合率 0.000 1.000 1.000 1.000 1.000 0.000 0.667 再現率 0.000 1.000 1.000 1.000 1.000 0.000 0.667 適合率 1.000 0.000 1.000 1.000 1.000 1.000 0.833 再現率 0.500 0.000 0.500 1.000 0.500 0.500 0.500 適合率 1.000 1.000 0.000 1.000 1.000 0.000 0.667 再現率 1.000 1.000 0.000 1.000 1.000 0.000 0.667 適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 1.000 0.000 0.000 1.000 1.000 0.000 0.500 再現率 1.000 0.000 0.000 1.000 1.000 0.000 0.500 適合率 1.000 1.000 1.000 1.000 1.000 0.667 0.964 再現率 0.571 0.571 0.571 1.000 0.857 0.286 0.643 F値 0.727 0.727 0.727 1.000 0.923 0.400 0.771 全体
A-3
A-4
A-5 ID A-1
A-2
2 4 6 8 10 12 合計
適合率 0.000 0.000 0.000 0.000 0.000 0.000 0.000 再現率 0.000 0.000 0.000 0.000 0.000 0.000 0.000 適合率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 1.000 1.000 0.500 1.000 0.500 0.500 0.750 再現率 1.000 1.000 1.000 1.000 1.000 1.000 1.000 適合率 0.000 1.000 1.000 1.000 0.000 0.000 0.500 再現率 0.000 1.000 1.000 1.000 0.000 1.000 0.667 適合率 1.000 1.000 0.750 1.000 0.667 1.000 0.903 再現率 1.000 0.667 1.000 0.333 0.667 1.000 0.778 適合率 1.000 1.000 0.800 1.000 0.714 0.889 0.889 再現率 0.750 0.875 1.000 0.750 0.625 1.000 0.833 F値 0.857 0.933 0.889 0.857 0.667 0.941 0.860 B-5
全体 B-2
B-3
B-4 ID B-1
102
全体の実験結果（タスク3を除く）として，表4.30にグループAの実験結果，表4.31に グループBの実験結果を示す．
表4.30 全体の実験結果（タスク3を除く）-グループA
表4.31 全体の実験結果（タスク3を除く）-グループB
グループA，Bの全体結果では，共に再現率が適合率を上回っており，可視化された情 報を元に実験協力者が適切に該当文を抽出することができていることがわかる．
論文閲覧支援システムを用いた場合の実験のまとめとして，提案システムを用いた結果 の方が，用いていない場合よりも適合率又は再現率が高いタスクが多い傾向にあり，提案 システムの閲覧支援効果が示されたといえる．
1 3 5 7 9 11 合計
適合率 0.800 0.636 0.889 0.889 0.889 0.571 0.779 再現率 0.444 0.778 0.889 0.889 0.889 0.444 0.722 適合率 1.000 0.625 1.000 0.818 0.667 0.700 0.802 再現率 0.778 0.556 0.889 1.000 0.889 0.778 0.815 適合率 0.750 0.700 0.714 0.700 0.667 0.667 0.700 再現率 0.750 0.875 0.625 0.875 1.000 0.750 0.813 適合率 0.900 0.900 1.000 0.714 0.818 0.889 0.870 再現率 1.000 1.000 0.778 0.556 1.000 0.889 0.870 適合率 0.727 0.875 0.857 0.714 0.818 0.636 0.771 再現率 0.889 0.778 0.667 0.556 1.000 0.778 0.778 適合率 0.829 0.745 0.895 0.773 0.764 0.696 0.779 再現率 0.791 0.814 0.791 0.791 0.977 0.744 0.818 F値 0.810 0.778 0.840 0.782 0.857 0.719 0.798 全体
A-3
A-4
A-5 ID A-1
A-2
2 4 6 8 10 12 合計
適合率 1.000 1.000 0.800 0.667 0.667 0.800 0.822 再現率 0.333 0.500 0.667 0.667 0.667 0.667 0.583 適合率 0.750 0.636 0.889 0.750 0.769 0.636 0.738 再現率 0.600 0.700 0.800 0.900 1.000 0.700 0.783 適合率 0.500 0.714 0.583 0.667 0.538 0.800 0.634 再現率 0.500 0.625 0.875 0.750 0.875 1.000 0.771 適合率 0.333 0.000 0.750 0.778 0.714 0.778 0.559 再現率 0.286 0.429 0.857 1.000 0.714 1.000 0.714 適合率 0.800 0.500 0.727 0.600 0.636 1.000 0.711 再現率 1.000 0.500 1.000 0.750 0.875 1.000 0.854 適合率 0.647 0.629 0.733 0.696 0.660 0.791 0.696 再現率 0.564 0.564 0.846 0.821 0.846 0.872 0.752 F値 0.603 0.595 0.786 0.753 0.742 0.829 0.723 B-5
全体 B-2
B-3
B-4 ID B-1
103
個別実験で実施したアンケートの結果を示す．各タスクの難易度については，提案システ ムを用いない場合での実験と提案システムを用いた場合での実験の比較結果をグラフで示 す．最初にタスク1（序論の課題文）のアンケート結果を図4-8に示す．
図4-8 タスク1（序論の課題文）のアンケート結果
図より，「簡単」と回答した実験協力者の人数に変化はないが，「とても簡単」と回答した 実験協力者が4 名増加しているため，タスク 1の抽出の難易度が下がっていることがわか る．
タスク2（序論の研究内容文）のアンケート結果を図4-9に示す．
図4-9 タスク1（序論の研究内容文）のアンケート結果
0 2 4 6 8 10 12
支援あり 支援なし
とても難しい 難しい 普通 簡単 とても簡単
104
図より，「とても簡単」もしくは「簡単」と回答した人数が5名から10名に増加し，と ても難しいと回答した協力者が「支援あり」ではいないことから，タスク2の抽出の難易 度が下がっていることがわかる．
タスク3（本論の研究内容文）のアンケート結果を図4-10に示す．
図4-10 タスク3（本論の研究内容文）のアンケート結果
図より，「難しい」と回答した実験協力者の人数に変動はないが，「とても難しい」と回答 する実験協力者が5名減り，その人数分「普通」と回答する実験協力者が増えていることか ら，抽出の難易度がある程度下がったことがわかる．
タスク4（実験章の実験結果文）のアンケート結果を図4-11に示す．
図4-11 タスク4（実験章の実験結果文）のアンケート結果
0 2 4 6 8 10 12
支援あり 支援なし
とても難しい 難しい 普通 簡単 とても簡単
0 2 4 6 8 10 12
支援あり 支援なし
とても難しい 難しい 普通 簡単 とても簡単