分類システムの実行例を図3.19に示す。
表3.7: 一般的にも使用される専門用語 サ変名詞 分散、量子化、符号化、信号、変調、
標本化、競合、認識、記憶、学習、
証明、演繹、帰結、否定、含意、
連接、導出、受理、模倣、手続き、
検波、命令、再構成、同期、暗号化、
分割、割付け、配置、配線、
検査、故障、保全、縮退、注釈、
展開、実行、分岐、探索、衝突、
併合、課金、保守、委託、内包、
推論、類推、類比、注意、省略、
分類、微分、立体視、遮蔽、交換
人手 アルゴリズム、ネットワーク、プログラム、
変更操作、再利用、論理、知識、予防保全、
試験、文、語、式、誤り、
雑音、組合せ、内部状態、視覚、集合、
写像、行列、関係
人工|知能|向き|オブジェクト|指向|言語
-> C11.253|C52.33:オブジェクト指向言語 機械|設計|CAD
-> B51.11:ＣＡＤ［１］ D34.622:ＣＡＤ［２］
故障|診断|用|エキスパートシステム
-> D13.1422|D35.23:故障診断エキスパートシステム プロダクション|・|システム
-> D11.4:プロダクションシステム
電気ド リル|分解|・|組立て|コンサルタント|・|システム
-> D13.141:コンサルテーションシステム パーザ|IP|の|実現|手法
-> D21.23:構文解析プログラム 類推|の|定式|化
-> D12.35:類推
オンライン|型|エキスパートシステム
-> D13.14:エキスパートシステム 仮説|選定|機構|の|一|実現|法
-> D12.311:仮説推論
フレーム|型|データ|構造|の|一|論理|的|記述
-> D11.6|D21.4221:フレーム
図3.18: コード割当の実行例
[ 1]
人工知能向きオブジェクト指向言語Monad
-> 人工知能向きオブジェクト指向言語
-> C11.253|C52.33:オブジェクト指向言語
[ 2]
知識工学の機械設計CADへの応用
-> (知識工学 !use 機械設計CAD)
-> B51.11:ＣＡＤ［１］, D34.622:ＣＡＤ［２］, D13.1:知識工学 !use
[ 3]
故障診断用エキスパートシステムにおける知識獲得
-> (故障診断用エキスパートシステム !in 知識獲得)
-> D13.13|D14.22:知識獲得,
D13.1422|D35.23:故障診断エキスパートシステム !in
[ 4]
プロダクション・システムによる線画の解釈
-> (プロダクション・システム !use 線画の解釈)
-> D32.b1:線画の解釈, D11.4:プロダクションシステム !use
[ 5]
電気ド リル分解・組立てコンサルタント・システム
-> 電気ド リル分解・組立てコンサルタント・システム
-> D13.141:コンサルテーションシステム
[ 6]
拡張ユニフィケーションを用いたパーザIPの実現手法
-> (拡張ユニフィケーション !use パーザIPの実現手法)
-> D21.23:構文解析プログラム, A41.475|C13.636|C52.517:単一化 !use
図 3.19: 分類システムの実行例
第
4章
実験と検討
本章では、本研究で作成した自動分類システムの有効性を評価するため、システムの出 力結果と人間が決定した分類コードを比べ検討する。
4.1
実験
作成した自動分類システムを用いて、実際の論文表題を分類する実験を行った。人工知 能学会誌の掲載された369編（1986年〜1995年）を実験対象とした。
それぞれの論文表題に対して正解（分類コードが複数個の場合もある）を与え、これと 分類システムの出力結果の評価を行った。以下では、評価の方法と結果について述べる。
4.1.1
実験の評価
ある論文に対して、分類コードは一つしか存在しないのであれば、正しく分類できたか どうかでシステムを評価できる。しかし、実際には、ある論文に対して、複数の分類コー ドが存在することも多い。実際にシステムは論文が割り当てたカテゴリの数を表4.1に示 す。また、システムの割り当てたカテゴリが正しい分類カテゴリと誤った分類カテゴリの どちらともいえない場合もある（図4.1）。
表4.1: カテゴリ数と論文数
割り当てたカテゴリ数 0 1 2 3 4 5 論文数 42 160 112 40 11 4
仮説時間推論 -> D12.3:推論 （適切な分類コードは「D12.311:仮説推論」）
図4.1: 正しくも誤りでもない分類の例 本論文では、表題を構成する複合名詞句に対し、
○ 正しい分類
△ 正しい分類とも分類誤りともいえない
× 分類誤り
と3段階に評価する。論文が1つの複合名詞句からなる表題を持つ場合は、○であれば が論文を正しく分類、△や×であれば論文を誤って分類したと評価する。複数の複合名詞 句からなる表題に関しては、
1つの複合名詞句に対し○で、かつその他の複合名詞句に対して○もしくは△であ るものは、正しく分類。
それ以外の場合は、分類誤り。
と評価する。2つの複合名詞句からなる表題の場合、表4.2のようになる。また、分類す べきでない論文（正しい分類項目が存在しない論文）も存在するため、結果は表4.3のよ うに整理される。 ここで、分類すべきでないものを分類した場合、それが正しい分類に なることはないので、この表において値が入るのはAからEの5箇所となる。
表4.2: 2つの複合名詞句からなる論文の評価 １.複合名詞句 2.複合名詞句 論文
○ ○ ○
○ △ ○
○ × ×
△ △ ×
△ × ×
× × ×
表4.3: 分類の評価
分類した 分類しない 正しい 誤り
分類すべきもの A B C 分類すべきでない - D E
A 分類すべき項目が存在し、システムは正しく分類した。
B 分類すべき項目が存在するが、システムは誤って分類した。
C 分類すべき項目が存在するが、システムは分類しなかった。
D 分類すべき項目は存在せず、システムは誤って分類をした。
E 分類すべき項目は存在せず、システムは分類しなかった。
評価の際には、3つの精度について考える。
カバレジ：このシステムはどれだけの論文に対して分類することができるか カバレジ= A+B +D
A+B+C+D+E
(4:1)
分類精度：分類された論文のうち、正しく分類された論文はどれくらいか 分類精度= A
A+B +D
(4:2)
実用精度：このシステムはどれだけの論文に対して正しく分類することができるか 実用精度= A
A+B+C+D+E
(4:3)
補助分類コードの種類が少ないため、付加されるべきすべての主分類コードに対して補 助分類コードは正しく付加できた。そのため、補助分類コードの有無について、分類の評 価には考慮しない。
表4.4: 分類実験の結果
分類した 分類しない 正しい 誤り
分類すべきもの 292 37 31 分類すべきでない - 0 9
4.1.2
実験の結果
実験結果を、図4.4に示す。精度を以下に示す。
カバレジ= 329
369
=89% (4:4)
分類精度= 292
329
=89% (4:5)
実用精度= 292
369
=79% (4:6)
4.2
検討
正しく分類出来なかった（B,C,D, E）論文について調査を行った。その結果を、表4.5 に示す。ここでは、分類誤りを(a)〜(f)の5つに分類した。
表4.5: 誤り原因の分析
誤りの原因 B C D E 計
a. 専門用語がない 6 8 0 0 14
b. 抽象的な専門用語 7 4 0 0 11
c. 形態素解析の誤り 5 0 0 0 5
d. 標準化の誤り 2 0 0 0 2
e. 人間でも分類不能 0 0 0 9 9
f. その他 17 19 0 0 36
計 37 31 0 9 77
a.専門用語がない
複合名詞句に含まれる専門用語が、しばしば辞書に登録されていない。科学技術論文は 新しい技術の報告であるため、岩波情報科学辞典の出版以降に発生した新しい専門用語 が、表題中に使用されることがある。例えば図4.2の「ユーザモデル」「CBR1」は、現在 は専門用語として一般的に認知され表題でもしばしば使用されているが、辞書には登録さ れていない。
この問題は新しい語を辞書に追加することにより解決できると考えられる。。
1.ユーザモデルを利用した説明文プランニング
(ユーザモデル !use 説明文プランニング) 説明文プランニング -> D12.25:（計画作成）
ユーザモデル ->
2.CBRシステムの構築環境 ->
図4.2: 専門用語が存在しないの例
b.抽象的な専門用語
専門用語では、抽象的な単語がしばしば使用される。具体的には、「例からの学習」と いう専門用語の「例」「学習」は抽象的な表現で具体的に示すものは無い。しかし、実際、
論文表題では具体的な事例が記されることがあるため、分類誤りの原因となる。図4.3に おける「組み立て文」「組立手順の生成」を抽象的な単語で表すと「例」「学習」となる。
1.組み立て文からの組立手順の生成
図4.3: 抽象的な専門用語の例
c.形態素解析の誤り
複合名詞句に専門用語が含まれているのに、形態素解析の誤りのため認識できないこ とがある。本システムで形態素解析に用いたJUMAN(juman3.5)は連続するカタカナや
1.交換ソフトの領域モデルに基づくデバックエキスパートシステムの開発
(交換ソフトの領域モデル !use デバックエキスパートシステム)
2.設計と試験を統合的に支援する知的CAD/CATシステム
(設計と試験を統合的に支援する !mod 知的CAD/CATシステム)
図4.4: 形態素解析の誤りの例
英数字を分割しない。そのため、図4.4に示すように、「デバックエキスパートシステム」
「CAD/CAT」はそれぞれ1単語となり、「エキスパートシステム」「知的CAD」を得るこ
とができない。
d.標準化の誤り
標準化で、分割しない方がよいと思われる表題を分割してしまうため、分類誤りとなっ た。例えば図4.5の表題の複合名詞句「単一例による学習」において、「による」が付属語 相当句と認識され分割される。この場合の「による」は、「からの」とほぼ意味で用いら れているため、標準化の前処理の段階で置換されることが望ましい。
1.単一例による学習とパターン認識
(単一例 !use 学習とパターン認識) パターン認識 -> D31:パターン認識
図4.5: 標準化の誤りの例
e.人間でも分類不能
人間でも表題情報のみからでは、適切な分類カテゴリを決定することが困難だと思われ る論文（図4.6）。
1.属性値の差異に基づくカテゴリー形式モデルの実験的検討
(属性値の差異 !use カテゴリー形式モデルの実験的検討)
図4.6: 人間でも分類不能の例
f.その他
論文表題とそれに相当する専門用語の表層上の一致が少ないため、専門用語を決定する には高度な推論が必要であると考えられる。例えば、図4.7の例1．は、「実例に基づく翻 訳」から「機械翻訳」が分類カテゴリとして正しいと考えられるが、これは「情報科学分 野の論文であるから、『実例に基づく翻訳』を機械的に実現する方法に関する論文であろ う」という推論が必要と考えられる。また、例2.は、「概念項目の自動抽出」から「概念 学習」が適切と考えられるが、これは「『項目』は意味をもたないので削除し、『自動抽 出』は『学習』に含まれるだろう」という推論が必要である。このように表層情報以外か ら推測することは困難である。
1.MBT2：実例に基づく翻訳における複数翻訳例の組合せ利用
実例に基づく翻訳における複数翻訳例の組合せ利用
2.対訳辞書からの概念項目の自動抽出 対訳辞書 -> 辞書[１]
図4.7: その他の例