実験結果 ( 閾値による精度評価 )

図4.16–4.20は，抽出データの閾値を0以上で大きくしながら描画した，各印象のポジティブ側

のPR曲線を示す．正解データは，各印象について7^{段階の評価が}5以上の値を持つ場合にその印 象についてポジティブであるとした．結果を見るとbase^{と比較して，}wordnet^とbfc, bf^{は，閾値を} 調整することによって適合率は減少するものの再現率を向上させることが可能であることがわかる．

weblio^からweblio bfへの拡張の場合も同様に再現率を向上させることはできるが，印象によっては 同時に適合率も向上している．多くのレビューから駅の印象を抽出するためには再現率も重視するた め，提案する辞書の拡張手法は，抽出データの閾値を適切に設定することにより有効に機能すること が期待できる．

印象別に結果を見ると，図4.16で示す「安心度」については，抽出データの閾値を調整すること

により，Bootstrap法による拡張辞書を用いて適合率，再現率を共に0.4以上に設定することが可能

である．図4.17, 4.18^{で示す「好感度」，}「楽しさ」については，Weblio^及びBootstrap^{法による拡} 張辞書を用いて適合率，再現率が共に0.5以上とすることが可能である．一方で，「興奮度」，「哀し さ」では，閾値を調整しても適合率，再現率を同時に0.5以上とすることはできない．特に「哀しさ」

は，拡張の有無によらず適合率の値が低い．これは，「興奮度」，「哀しさ」においてbaseの段階での 適合率が低すぎることが原因であると考える．

辞書別に結果を見ると，Weblio+bf^{が「安心度」，「好感度」，}「楽しさ」では閾値の調整によって適 合率0.4^{以上，再現率}0.7以上を同時に満たすことが可能であるため，最も有効であると言える．「興 奮度」，「哀しさ」では，WordNetを除く全辞書で閾値の調整を行っても，再現率を大きくした時に，

適合率が0.2^{以下となる．}WordNetでは，「興奮度」では適合率0.3^{以上，再現率}0.4^{以上を同時に} 満たすことが可能であるが，「哀しさ」では，再現率がWeblioを利用した辞書と同様，他の辞書より 圧倒的に低い．そのため，「興奮度」「哀しさ」においては，閾値設定によって再現率を0.9^以上に設

定可能なjiwc^，jiwc+bfが総体的に良好と考えるが，適合率が0.2以下にしか設定できないという問

題点がある．これらの結果から，「安心度」，「好感度」，「楽しさ」の3^{印象で評価の良い}Weblio+bf がポジティブな印象の推定には最も有効な辞書であると考える．

図4.16 安心度（ポジティブ）のPR曲線

図4.17 好感度（ポジティブ）のPR曲線

図4.18 楽しさ（ポジティブ）のPR曲線

図4.19 興奮度（ポジティブ）のPR曲線

図4.20 哀しさ（ポジティブ）のPR曲線

各印象について，7段階の評価で5以上の場合をポジティブとみなして各辞書の評価を行ったが，

次に3以下の場合をネガティブとみなして同様に評価を行う．各印象のネガティブ側のPR^曲線を

図4.21–4.25に示す．結果を見ると，ポジティブ側と比較して，各拡張手法による適合率・再現率の 変化が全般的に小さい傾向にある．各拡張手法毎の傾向を見ると，wordnet+Bootstrap^{法による拡} 張では，「安心度」についてはbaseよりも減少するものの，高い適合率を維持しつつ再現率を向上さ せることが可能になっている．Weblio^類語辞典+Bootstrap^{法による拡張では，}Bootstrap^法を併 用しないほうが再現率を大きく設定できる場合が多い．jiwc+Bootstrap法による拡張では，「好感 度」において適合率は相対的に低いものの，他の辞書よりも再現率を高く設定可能である．ポジティ ブ側と違い，wordnet^及びweblio^にBootstrap法による拡張を適用することよって大きく再現率が 向上しないのは，表3.2^{に示した通り}Bootstrap法による拡張によってネガティブ側の感情語が被り 除去によって語数が減少することや，否定形・仮定形の抽出精度が悪い事が原因と考える．

印象別に結果を見ると，「安心度」，「好感度」では，jiwc及びjiwc+bfを好感度に適用した場合を 除き，どの辞書でも閾値の調整によらず，再現率0.4以下にしかならないため，多くのレビューから 印象抽出するのに有効ではない．しかし，適合率は0.5以上に設定可能であり，ネガティブだと判断 したレビューの信頼度は高いと言える．「楽しさ」では，weblio^{を除く辞書で適合率}0.5^{以上にでき} るが，再現率が0.2以下にしかならない．「興奮度」，「哀しさ」では，「興奮度」のjiwc^{を除いて辞書} 拡張による変化はほとんどなく，適合率0.4^{以下，再現率}0.3以下にしかならず，印象抽出に有効で ない．「楽しさ」，「興奮度」，「哀しさ」では，印象の定義において，ネガティブな感情を用いていない ことが原因の一つと考えられるため，対となる感情とその感情語を定義することで改善する可能性が 考えられる．ネガティブ側の結果では，jiwc+bf^{が「安心度」，}「好感度」において，再現率を大きくで きるため，総体的に有効だが，ポジティブ側のWeblio+bfと比較すると適合率・再現率が共に低い．

これらの結果から閾値による精度評価実験では，ネガティブ側では辞書間で性能に大差ないと判断 し，ポジティブ側で適合率0.4以上のまま，再現率を最も高く設定可能なWeblio+bfが総合的に最 も有効であると考える．

図4.21 安心度（ネガティブ）のPR曲線

図4.22 好感度（ネガティブ）のPR曲線

図4.23 楽しさ（ネガティブ）のPR曲線

図4.24 興奮度（ネガティブ）のPR曲線

図4.25 哀しさ（ネガティブ）のPR曲線