出現頻度による分割学習した提案手法の評価

表 5.11: 分割手法の比較(高頻度かつNNで素性選択されたユニグラムのとき) スコア付け 素性数 分割手法 正答率 精度 再現率 F値

score_A

2500 ランダム分割 0.937 0.791 0.771 0.781 出現頻度による分割 0.932 0.741 0.764 0.752 5000 ランダム分割 0.954 0.827 0.82 0.824 出現頻度による分割 0.938 0.755 0.785 0.77

score_B

2500 ランダム分割 0.94 0.802 0.783 0.792 出現頻度による分割 0.955 0.827 0.832 0.829 5000 ランダム分割 0.954 0.852 0.826 0.839 出現頻度による分割 0.957 0.844 0.837 0.841

score_C

2500 ランダム分割 0.935 0.789 0.762 0.775 出現頻度による分割 0.933 0.744 0.755 0.75 5000 ランダム分割 0.952 0.819 0.809 0.814

出現頻度による分割 0.939 0.752 0.789 0.77

まず、ユニグラムを素性集合とし、頻度による素性選択を実施した場合において、素性 の数を変化させたときのテキスト分類の結果を調べた。出現頻度がM 以下のユニグラム を削除して素性集合を得るが、ここではMの値を変化させ、様々な素性数の素性集合を 用いたときのテキスト分類の評価指標を比較する。図5.2、図5.3、図5.4、図5.5は、10 カテゴリのそれぞれについて、素性数が変化したときの正答率、精度、再現率、F値を表 したグラフである。図5.2の正答率のグラフでは、10カテゴリのいずれにおいても、正答 率は素性数が変わっても大きな変化はない。一方、図5.3の精度のグラフでは、多くのカ テゴリに対して、素性数を減らしたとき、精度は向上したり低下したりする。例えば、カ テゴリがinterestのとき、素性数が11000個から20000個の間で精度が増加と減少を繰り 返しているのがわかる。図5.4の再現率と図5.5のF値のグラフでも、acqとearnを除い て、素性数を減らしていったときの再現率もしくはF値は向上したり低下したりする。も し、頻度による素性選択が妥当なら、すなわち高頻度の素性ほどテキスト分類に有効な素 性といえるなら、素性数を減らすにつれてF値などの評価指標は単調減少する（左下さ がりのグラフになる）はずである。図5.2〜5.5の実験結果は、頻度による素性選択が必ず しも適切ではないことを示唆する。

次に、同様にユニグラムを素性集合とし、提案手法となるNNによる素性選択を実施 した場合において、素性の数を変化させたときのテキスト分類の結果を調べた。ここで は、NNによって算出されるscore_A、score_B、score_C のそれぞれについて、そのスコア の上位の素性を選択する。素性数を3000から3000刻みで27000まで変化させたときの テキスト分類の評価指標の変化を調べた。また、素性数が28795、すなわち素性選択をし ない場合の結果も調べた。図5.6、図5.7、図5.8は、score_A、score_B、score_C のそれぞ

図 5.2: 出現頻度で選択したユニグラムを素性集合としたときの正答率

図 5.3: 出現頻度で選択したユニグラムを素性集合としたときの精度

図 5.4: 出現頻度で選択したユニグラムを素性集合としたときの再現率

図 5.5: 出現頻度で選択したユニグラムを素性集合としたときのF値

れについて、素性数を変化させたときの正答率の変化を示している。多くのカテゴリに ついて、素性数を減らしていくと正答率も単調に減少する傾向がみられる。特に大きな 変化がみられるのはacqのカテゴリである。素性数が3000個のとき、正答率はscore_A、 score_B、score_C でそれぞれ0.859、0.884、0.858と低いが、素性数が9000個のときには 0.9以上の値に大きく改善される。図5.9、図5.10、図5.11は、score_A、score_B、score_Cの それぞれについての精度の変動を示しいてる。全体的には素性数の減少に伴い精度も減少 する。ただし、例外も幾つかみられる。例えば、score_Cのグラフ(図5.11)におけるカテ ゴリwheatについて、素性数を9000、6000、3000と減らしたとき、精度は0.506、0.519、

0.583と増加している。図5.12、図5.13、図5.14は、score_A、score_B、score_Cのそれぞれ についての再現率の変動を示している。カテゴリwheatやcornで幾つかの例外がみられ るものの、全体的に素性数の減少に伴い再現率は単調減少する。図5.15、図5.16、図5.17

は、score_A、score_B、score_CのそれぞれについてのF値の変動を示している。やはり幾

つかの例外はあるが、素性数の減少に伴いF値は単調減少するといえる。以上の結果か ら、score_A、score_B、score_Cの値が大きい順に素性を追加していくと、テキスト分類の 結果が改善する傾向がみられる。したがって、提案手法による素性選択のための素性のス コアは、素性の有効性を表す指標として妥当であるといえる。なお、付録Aの表A.16〜

A.25に、図5.6〜5.17でプロットされた点に対応する評価指標の値を示した。

図 5.6: 提案手法score_Aで選択したユニグラムの素性集合の正答率

図 5.7: 提案手法score_Bで選択したユニグラムの素性集合の正答率

図 5.8: 提案手法score_Cで選択したユニグラムの素性集合の正答率

図 5.9: 提案手法score_Aで選択したユニグラムの素性集合の精度

図 5.10: 提案手法score_Bで選択したユニグラムの素性集合の精度

図 5.11: 提案手法scoreCで選択したユニグラムの素性集合の精度

図 5.12: 提案手法score_Aで選択したユニグラムの素性集合の再現率

図 5.13: 提案手法score_Bで選択したユニグラムの素性集合の再現率

図 5.14: 提案手法score_C で選択したユニグラムの素性集合の再現率

図 5.15: 提案手法score_Aで選択したユニグラムの素性集合のF値

図 5.16: 提案手法score_Bで選択したユニグラムの素性集合のF値

図 5.17: 提案手法scoreC で選択したユニグラムの素性集合のF値