より詳細な分析のために，表11に意味ラベル別の性能を示す．十分な数の事 例がある意味ラベルは比較的高い精度で解析できた．事例数が多いにも関わらず 精度が伸び悩んだ意味ラベルとして，「結果状態」がある．この意味ラベルは，作 業者間一致率の項で述べたように人手のアノテーションも一致率が低いラベルで あった．すなわち，意味体系の設計に改善の余地があり，現象と照らしあわせて 粒度の再検討，手がかりの分析を行う必要がある．「順接確定」ラベルも同様な理 由で精度が低い．こちらは主に，「て」という機能表現に付与される意味ラベルで ある．また，「最中」や「経歴」など出現頻度の低い意味ラベルは事例数が少なく，
十分に学習することができなかった．
本論文で粒度の再考を行った意味ラベルとして「高確実」と「不確実」があっ た．いずれのラベルも精度には改善の余地が残った．誤りの原因を調査するため，
特に「高確実」ラベルについて，システムが機能表現を正しく認識できなかった事 例を分析し，これを二つに分類した．ひとつ目は，正解データでは付与されてい
ない意味ラベルを誤って付与した事例，ふたつ目は，正解データでは意味ラベル が付与されているにも関わらず正しい意味ラベルを付与できなかった事例である．
表11:意味ラベル別の評価結果． 意味ラベルPrecisionRecallFβ=1 判断93.55(4266/4560)95.50(4266/4467)94.52 完了91.26(1451/1590)95.59(1451/1518)93.37 疑問92.27(1396/1513)93.00(1396/1501)92.63 否定90.76(1110/1223)96.10(1110/1155)93.36 理由84.89(753/887)85.86(753/877)85.37 結果状態62.21(507/815)66.02(507/768)64.06 内容91.12(739/811)96.35(739/767)93.66 態度91.14(669/734)91.64(669/730)91.39 順接仮定76.54(535/699)82.31(535/650)79.32 逆接確定66.49(379/570)63.91(379/593)65.18 依頼90.50(505/558)91.99(505/549)91.24 順接確定43.44(225/518)49.56(225/454)46.30 受身86.73(438/505)96.48(438/454)91.35 名詞化90.79(414/456)95.83(414/432)93.24 話題61.36(262/427)64.22(262/408)62.75 継続56.92(185/325)48.43(185/382)52.33 自然発生75.60(282/373)80.57(282/350)78.01 習慣50.68(112/221)40.43(112/277)44.98 勧め71.73(203/283)73.82(203/275)72.76 願望95.02(191/201)88.84(191/215)91.83 並立36.69(51/139)24.06(51/212)29.06 例示69.66(101/145)65.58(101/154)67.56 無意志85.71(132/154)89.80(132/147)87.71 不確実73.51(111/151)76.03(111/146)74.75 高確実84.50(109/129)80.15(109/136)82.26 継起61.25(49/80)38.58(49/127)47.34 逆接仮定69.86(102/146)80.95(102/126)75.00 程度87.29(103/118)88.03(103/117)87.66 意志88.00(88/100)86.27(88/102)87.13 伝聞75.29(64/85)68.82(64/93)71.91 添加49.25(33/67)36.26(33/91)41.77 目的70.87(73/103)80.22(73/91)75.26 方向73.03(65/89)72.22(65/90)72.63 試行95.00(76/80)92.68(76/82)93.83 可能56.06(37/66)48.68(37/76)52.11 付帯-続行50.00(25/50)37.88(25/66)43.10 意味ラベルPrecisionRecallFβ=1 許可72.88(43/59)68.25(43/63)70.49 比較81.82(27/33)58.70(27/46)68.35 比況52.94(27/51)58.70(27/46)55.67 使役82.05(32/39)72.73(32/44)77.11 着継続60.00(24/40)54.55(24/44)57.14 容易90.24(37/41)86.05(37/43)88.10 付帯-並行82.76(24/29)57.14(24/42)67.61 様態33.33(8/24)21.05(8/38)25.81 当為91.30(21/23)61.76(21/34)73.68 授与95.65(22/23)75.86(22/29)84.62 受益57.89(11/19)47.83(11/23)52.38 強調50.00(4/8)19.05(4/21)27.59 困難100.00(13/13)72.22(13/18)83.87 感嘆66.67(4/6)26.67(4/15)38.10 反復0.00(0/0)0.00(0/15)0.00 不可避46.67(7/15)46.67(7/15)46.67 発継続69.23(9/13)60.00(9/15)64.29 終点93.33(14/15)100.00(14/14)96.55 勧誘66.67(2/3)16.67(2/12)26.67 不可能0.00(0/3)0.00(0/12)0.00 手段66.67(2/3)16.67(2/12)26.67 不許可33.33(2/6)20.00(2/10)25.00 自発80.00(4/5)44.44(4/9)57.14 不必要0.00(0/1)0.00(0/9)0.00 事前100.00(1/1)14.29(1/7)25.00 事後0.00(0/2)0.00(0/5)0.00 場合0.00(0/0)0.00(0/3)0.00 起点0.00(0/0)0.00(0/2)0.00 対比0.00(0/0)0.00(0/2)0.00 同時性0.00(0/0)0.00(0/2)0.00 無意味0.00(0/0)0.00(0/2)0.00 順接限定0.00(0/0)0.00(0/1)0.00 最中0.00(0/0)0.00(0/1)0.00 経歴0.00(0/0)0.00(0/1)0.00 付帯-続行0.00(0/0)0.00(0/1)0.00
表 12: 誤り分析
Semantic labels gold tp fp fn P R F
判断 4472 4272 297 200 93.51 95.53 94.51 高確実性 136 107 17 29 86.29 78.68 82.31
「判断」ラベルを付与することが出来なかった事例は4472個中200個 (4.5%)，
誤って「判断」ラベルを付与してしまった事例は4472個中297個 (6.6%)あった．
「判断」ラベルは，ほぼ無標のラベルとして付与しているため出現数が極めて多 い．したがって，原形に「だ」「です」「ます」などの判断ラベルを付与されるこ との多い語を含むと，誤って判断ラベルを付与するという事例が目立った．これ を改善するためには，判断ラベルの特徴を捉える素性を組み込むよりも，他のラ ベルを正しく抽出するほうが良い策であると考えられる．
「高確実性」ラベルを付与することが出来なかった事例は，136個中29個(21.3%) あった．これらの多くは，「疑問」「判断」ラベルを付与されることが多かった．例
えば，(13a)の下線部の機能表現に対する意味ラベルは「高確実性」であるが，シ
ステムは誤って「疑問」ラベルを付与した．「疑問」と「高確実性」の曖昧性は，
人間にとっても判断が難しい場合がある．これを解決するためには，より詳細な 仕様が必要である．また，(13b)の下線部の機能表現には，誤って「判断」のラ ベルを付与した．これは，データ中の「原形が「です」」という表現の多くに対 して「判断」ラベルが付与されることが原因であると考えられる．
(13) a. 生活の知恵な んだろう ね。 (正解:高確実性, システム:疑問)
b. 去年の終わりから でしょ。(正解:高確実性,システム:判断)
c. どういう基準で外す んでしょう。 (正解:疑問, システム:高確実性) d. 求めない方がいい でしょう ね。(正解:判断, システム:高確実性)
表13には複合辞の長さごとの評価結果を示す．複合辞の長さは，表4と同様に 複合辞を構成する形態素数を指す．
表 13: 機能表現の長さ別の評価結果
機能表現長 Precision Recall Fβ=1 1 84.89 (11926/14049) 85.57 (11926/13937) 85.23 2 79.84 ( 2942/ 3685) 80.51 ( 2942/ 3654) 80.17 3 71.65 ( 872/ 1217) 72.91 ( 872/ 1196) 72.28 4 90.15 ( 357/ 396) 83.61 ( 357/ 427) 86.76
5 83.61 ( 51/ 61) 64.56 ( 51/ 79) 72.86
6 76.67 ( 23/ 30) 79.31 ( 23/ 29) 77.97
7 100.00 ( 8/ 8) 66.67 ( 8/ 12) 80.00
5 拡張モダリティ解析
機能表現を用いて拡張モダリティ解析を行うシステムに本研究の機能表現解析 結果を適用することで，拡張モダリティ解析における機能表現解析の寄与を検証 する．本節では，まず，拡張モダリティタグと拡張モダリティタグ付与コーパスに ついて記述し，機能表現を用いた拡張モダリティ解析の評価実験について述べる．