第 3 章 構成要素文特定手法
3.3 提案手法の適用（結論）
3.3.3 評価実験
64
65
SVMによる判別手法の実験結果を表3.59と図3-15に示す．全体では，適合率が再現率を 上回っている傾向にある．特徴的表現を用いた手法の結果と比べると，適合率が低下し，
再現率が向上している．構成要素別に見ると，研究内容，研究成果，考察は適合率が再現 率よりも高い値を示しているが，特徴的表現を用いた特定手法より適合率が低下し再現率 が向上している．今後の課題については，再現率が適合率よりも高くなっている．このこ とから，序論と同様に，特徴的表現を用いた手法と比べて，再現率が向上し，適合率が低 下している傾向にあることがわかる．
表3.59 SVMによる判別手法の実験結果
図3-15 SVMによる判別手法の実験結果
研究内容 研究成果 考察 今後の課題 全体 該当文 243 130 40 206 619 判定文 237 96 30 210 572 正解文 203 85 22 179 489
適合率 0.857 0.885 0.733 0.852 0.855
再現率 0.835 0.654 0.550 0.869 0.790
F値 0.846 0.752 0.629 0.861 0.821
0.856 0.888
0.742
0.854 0.855
0.836
0.656
0.550
0.869
0.791 0.846
0.755
0.632
0.861
0.821
0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
研究内容 研究成果 考察 今後の課題 全体
適合率 再現率 F値
66
ハイブリッド型特定手法の実験結果を表3.60と図3-16に示す．全体の実験結果では，
適合率と再現率の差が小さい．研究内容と考察については再現率が適合率を上回っている が，研究成果と今後の課題については適合率が再現率を上回っている．
表3.60 ハイブリッド型特定手法の実験結果
図3-16 ハイブリッド型特定手法の実験結果
研究内容 研究成果 考察 今後の課題 全体 該当文 243 130 40 206 619 判定文 257 107 41 191 596 正解文 221 95 26 182 524
適合率 0.860 0.888 0.634 0.953 0.879
再現率 0.909 0.731 0.650 0.883 0.847
F値 0.884 0.802 0.642 0.917 0.863
0.860
0.888
0.634
0.953
0.879 0.909
0.731
0.650
0.883
0.847 0.884
0.802
0.642
0.917
0.863
0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
研究内容 研究成果 考察 今後の課題 全体
適合率 再現率 F値
67
特徴的表現を用いた特定手法，SVMを用いた判別手法，ハイブリッド型特定手法の実験 結果を適合率・再現率・F値に分けて比較する．適合率において3手法の実験結果をまと めたものを図3-17に示す．全体では，特徴的表現を用いた特定手法が最も高い．構成要素 別で見ると，研究内容と今後の課題については特徴的表現を用いた特定手法が最も高い値 を示していた．このことから，特徴的表現を用いた特定手法が3手法の中で最も正確性に 優れていることがわかる．
図3-17 適合率の比較結果
0.923
0.849
0.632
0.974
0.903 0.856
0.888
0.742
0.854 0.855
0.860 0.888
0.634
0.953
0.855
0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
研究内容 研究成果 考察 今後の課題 全体
特徴的表現 SVM ハイブリッド
68
再現率において3手法の実験結果をまとめたものを図3-18に示す．
図3-18 再現率の比較結果
全体では，特徴的表現を用いた手法が最も低く，ハイブリッド型特定手法が最も高い．構 成要素別で見ると，全ての構成要素においてハイブリッド型特定手法が最も高い値を示し ていた． このことから，結論においてもハイブリッド型特定手法が3手法の中で最も網羅 性において優れていることがわかる．
0.794
0.608 0.600
0.738 0.724
0.836
0.656
0.550
0.869
0.791 0.909
0.731
0.650
0.883
0.790
0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
研究内容 研究成果 考察 今後の課題 全体
特徴的表現 SVM ハイブリッド
69
F値において3手法の実験結果をまとめたものを図3-19に示す．
図3-19 F値の比較結果
全体では，特徴的表現を用いた手法が最も低く，ハイブリッド型特定手法が最も高い．こ のことから，ハイブリッド型特定手法が 3 手法の中で最も特定性能が優れていることがわ かる．構成要素別で見ると，全ての構成要素においてハイブリッド型特定手法が最も高い値 を示していた．このことから，結論についても，ハイブリッド型特定手法を各構成要素の文 を特定する手法として適用することが最も効果的であることがわかった．
0.854
0.709
0.615
0.840
0.804 0.846
0.755
0.632
0.861 0.822
0.884
0.802
0.642
0.917
0.821
0.000 0.100 0.200 0.300 0.400 0.500 0.600 0.700 0.800 0.900 1.000
研究内容 研究成果 考察 今後の課題 全体
特徴的表現 SVM ハイブリッド
70 3.3.3.3 実験考察
特徴的表現を用いた特定手法やSVMによる判定手法において，正しく特定できなかった 文を示した上で，特定の構成要素の再現率や適合率が低い原因を考察し，改善案を述べる．
表3.34 に特徴的表現を用いた特定手法において「該当する構成要素なし」と判定された研 究成果文の例を示す．右側にはSVMによる判定手法の判定結果を示している．
表3.61「該当する構成要素なし」と判定された研究成果文の例
1，2文目の例文はSVMによる判定手法で正しく特定できた文である．このように，特徴 的表現を用いた特定手法で「該当する構成要素なし」と判定されたが，SVMによる判定手 法では正しく特定できた文は40文中16文確認された．その中で，1文目のように「～され た」が文末表現である文は6文確認された．また，2文目のように「～できた」が文末表現 である文についても6文確認された．これらの文に対して，SVMによる判定手法では，「さ れた」と「できた」が素性ベクトルの中に含まれているため，正しく研究成果と特定できて いる．このように，特徴的表現として含まれていない表現が文末表現である文に対しても，
SVMによる判定手法では，正しく構成要素を特定することができている．
3，4文目の例文はSVMによる判定手法においても誤って判定されている．このように，
両手法で正しく特定できなかった文は24文確認された．このうち，SVMによる判定手法に おいて「研究内容」と誤って特定した文は22文であり，このことから研究成果と研究内容 が表現的に類似しており，誤って特定されやすいことがわかる．3，4 文目のように「示し た」が文末表現で，研究内容と誤って判定された文は22文中12文であった．その原因とし ては，「示した」が研究内容においても頻出する文末表現であることが考えられる．実際，
「示した」が文末表現で研究内容に該当している文は 6文確認されたが，その中で 5文は 結論の先頭文に書かれていた．そのため，精度を改善するためには，1文目に書かれていれ ば研究内容，2文目以降に書かれていれば研究成果と判定するなど，記載位置を手掛かりと することなどが考えられる．
番号 例文 SVM
1 「結婚」に関するノウハウ知識を収集した結果においては，合計35個の話題が収集された 研究成果 2 文の意味は語数に依存しないと予想し，語数に依存する手法よりも概ね良い結果を得ることができた 研究成果
3 収集したCANデータが正解データである妥当性を示した 研究内容
4 トピックの変遷の追跡に関しては，原発関連トピック系列に着目してその有効性を示した 研究内容
71
次に，構成要素に問わず，正しく特定できなかった文を示したうえで，その原因を考察 し，特徴的表現を用いた特定手法の改善案を述べる．考察の対象は，特徴的表現を用いた特 定手法とSVMによる判定手法の判定結果が正解の構成要素と異なっている文である．考察 対象となる例文を表3.62に示す．
表3.62両手法の判定結果が異なっていた文の例
最初の例文は，「提案手法では」が文頭付近に書かれているため，特徴的表現を用いた特 定手法とSVMによる判定手法は研究内容と判定している．しかし，この文は提案手法の性 能について述べているため，研究成果に該当している．「提案手法では」に限らず，「提案手 法は」が文頭表現である文についても，研究成果に該当している場合が確認された．そのた め，「提案手法では」「提案手法は」が文頭表現である文に対しては，前後の文の構成要素を 考慮して判定する必要がある．
2番目の例文は「本論文では」が文頭表現として書かれているため，両手法は研究内容と 判定している．しかし，この文は今後の課題に該当している．この文については，前半の「～
を行った」までが研究内容に該当し，後半の「～必要がある」は今後の課題に該当している. このように，1文に2つの構成要素の内容が書かれているために正しく特定できなかった文 が17件確認された．
3 番目の例文は「その結果」が文頭表現にあるため両手法は研究成果と判定しているが，
実際は今後の課題に該当している．このように「～たい」という書き手の希望を表す助動詞 が文末表現である場合に，正しく今後の課題と特定できなかった文は12件確認された．し かし，今後の課題の特徴的文末表現として登録されているのは，「検討したい」「課題とした い」「行いたい」「目指したい」の4表現のみである．そのため，特徴的文末表現において，
頻出するも表現を「～たい」という形として追加登録する必要がある．
4，5番目の例文は「考えられる」と「考える」が文末表現にあるため，両手法は考察と 判定しているが，実際は今後の課題に該当している．このように，「考えられる」が文末 表現であるが，実際は今後の課題に該当している文が9件確認された．また，これら9件 のうち7件は結論の後半に書かれている文であった．従って，そのため，考察と特定する 文に対しては，結論の中で最後に書かれていた場合，今後の課題と判定することで，特定 精度を改善することができると考える．
番号 例文 特徴的表現 SVM 人手判定
1 また，今回の提案手法では形容詞・形容動詞に着目したため，形容詞・形容動詞を含まな
い感想のレビュー文を抽出することができなかった 研究内容 研究内容 研究成果
2 本論文ではNEEDASのみを用いて可視化結果の検討を行ったが，NEEDAS以外での検討方法も
用いる必要がある 研究内容 研究内容 今後の課題
3 そしてその結果をもとに，例えば階層型クラスタリングの長所と非階層型クラスタリング
の長所を兼ね備えた融合的な手法を実装する，などの形で改善を図りたい 研究成果 研究成果 今後の課題 4 よって，例えば，SIFT特徴量[8]やLocalBinaryPattern特徴量[10]といった，画像特徴量に
関する技術やアイデアを集団行動解析のための特徴量として応用すること等も考えられる 考察 考察 今後の課題 5 もし定量評価と主観評価に相関が見られないようであれば，主観的に良好な可視化結果をもたらす
定量評価手法について検討する必要があると考える 考察 考察 今後の課題