実験方法

4.12. DODDLE-OWLと手動構築との比較評価 121

is-a関係 構築 参照

入力語 選択

EDR

入力文書集合

入力語 Protégé

概念階層

図 4.40: 実験における手動によるオントロジー構築手順

参照

参照

is-a関係 洗練

is-a関係 構築 入力文書集合

概念階層

抽出用語

入力語 追加

入力語 不要語

削除

入力概念 入力概念

選択 入力語選択

モジュール

階層構築 モジュール 階層洗練

モジュール

入力概念 選択モジュール 用語抽出

EDR

初期概念 階層 入力文書選択

モジュール

図 4.41: 実験におけるDODDLE-OWLを用いたオントロジー構築手順

対象ドメインは，財務会計および人事とした．被験者は対象ドメインについての専門家 ではないが，対象ドメインの文書を読んで内容を理解するだけの知識は持っている．対象 ドメインの文書は被験者らの母国語である日本語で記述されている．このことから，階層

構築時にDODDLE-OWLが参照する参照オントロジーとして，本実験では日本語汎用オ

ントロジーであるEDR電子化辞書を用いた．

図 4.40に，本実験における手動によるオントロジー構築手順を示す．手動によるオン トロジー構築では，はじめに被験者は入力文書集合から入力語を手動で抽出する．次に，

EDRを参照しながら，入力語からProt´eg´eを用いてis-a関係を構築する．

図 4.41 に，本実験におけるDODDLE-OWLを用いたオントロジー構築手順を示す．

DODDLE-OWLを用いたオントロジー構築は以下の五つの手順で行われる．第1に，被

験者は入力文書集合から入力文書選択モジュールを用いて，用語を自動抽出する．第2に，

抽出された用語から入力語選択モジュールを用いて，被験者は不要語の削除および自動抽 出できなかった入力語の追加を行い，入力語を決定する．第3に，EDRを参照しながら，

入力語から入力概念選択モジュールを用いて入力概念の選択を行う．第4に，入力概念か ら階層構築モジュールを用いて初期概念階層を自動構築する．第5に，初期概念階層を階 層洗練モジュールを用いて洗練し，is-a関係を構築する．

DODDLE-OWLと手動によるオントロジー構築の比較を行う方法として，主に以下の

二つの方法が考えられる．比較方法1は，各被験者が各ドメインについてDODDLE-OWL および手動によりオントロジーを構築し，構築時間を比較する方法である．比較方法1を

4.12. DODDLE-OWLと手動構築との比較評価 122

表 4.8: DODDLE-OWLと手動によるオントロジー構築の比較方法1 DODDLE-OWL 手動構築

被験者A 財務会計 財務会計

人事 人事

被験者B 財務会計 財務会計

人事 人事

表 4.9: DODDLE-OWLと手動によるオントロジー構築の比較方法2 DODDLE-OWL 手動構築

被験者A 財務会計 人事 被験者B 人事 財務会計

表 4.8に示す．比較方法2は，各ドメインについて，一方の被験者がDODDLE-OWLを 用いた場合，もう一方の被験者が手動によりオントロジーを構築し，それぞれの構築時間 を比較する方法である．比較方法2を表 4.9に示す．

比較方法1では，同一被験者が同一ドメインの同一文書集合から，DODDLE-OWLお よび手動によりオントロジーを構築する．オントロジー構築における習熟度の影響が小さ い場合には正確な評価を行うことができる．しかし，オントロジー構築における習熟度の 影響が大きい場合には，1回目のオントロジー構築経験が2回目のオントロジー構築時間 の短縮につながる．そのため，DODDLE-OWLと手動を用いてオントロジーを構築する 順番により，それぞれのオントロジー構築時間が変化するという問題が生じる．よって，

比較方法1を用いる場合には，あらかじめドメインごとのオントロジー構築における各被 験者の習熟度の影響を知る必要がある．

比較方法2では，各被験者は各ドメインの文書集合から1回だけ，DODDLE-OWLま たは手動によりオントロジーを構築するため，比較方法1のようなオントロジー構築に おける習熟度の影響はない．しかし，被験者Aと被験者Bの知識レベルの差（ドメイン に関する知識，オントロジー構築経験，ツールの習熟度などによる，オントロジー構築 時間の差）が同程度でなければ，DODDLE-OWLと手動によるオントロジー構築時間の 差が，知識レベルの差によるものなのか，DODDLE-OWLによるものなのかを明確に知 ることができない．そのため，一方の被験者のDODDLE-OWLを用いたオントロジー構 築時間ともう一方の被験者の手動によるオントロジー構築時間を直接比較することは困 難である．よって，比較方法2を用いる場合には，あらかじめドメインごとのオントロ ジー構築における被験者Aと被験者Bの知識レベルの差を知る必要がある．被験者Aと 被験者Bの知識レベルの差がわかれば，手動構築した被験者のオントロジー構築時間か ら，DODDLE-OWLを用いてオントロジーを構築した被験者の予想手動構築時間をおお よそではあるが求めることができる．同一ドメインかつ同一規模の文書集合からオントロ ジーを構築する場合でも，対象文書集合の内容によりオントロジー構築時間は変化するこ とがあるため，予想手動構築時間は正確にはかることはできない．しかしながら，目安に

4.12. DODDLE-OWLと手動構築との比較評価 123

表 4.10: 予備実験および本実験に用いた財務会計および人事ドメインの各文書集合におけ

る文書数および語数

ドメイン 文書数 語数 予備実験 財務会計（調達） 19 20041 人事（採用） 25 20035 本実験 財務会計（支払） 19 20388 人事（給与支給） 29 20286

はなると考えられる．DODDLE-OWLを用いたオントロジー構築時間が，予想手動構築 時間と比べて大きく短縮されていれば，DODDLE-OWLの有用性を示すことができると 考えられる．

本評価実験では，上記の問題を解決するために予備実験を行い，それを基に本実験を 行った．予備実験では，財務会計および人事ドメインについて，本実験とは内容が異なる が規模は同程度の文書集合を用意し，被験者Aと被験者Bが手動により，それぞれ2回 ずつオントロジーを構築した．予備実験では，被験者AとB共に，財務会計（調達）ド メイン，人事（採用）ドメインの順に1回目の手動によるオントロジー構築を行った2〜

3日後に，財務会計（調達）ドメイン，人事（採用）ドメインの順で2回目の手動による オントロジー構築を行った．

表 4.10に，予備実験および本実験で用いた財務会計および人事ドメインの各文書集合 における文書数および語数を示す．予備実験を行う理由は二つある．一つ目は，財務会計 および人事ドメインのそれぞれについて，被験者Aと被験者Bが手動でオントロジー構 築する場合の知識レベルの差を調べることである．ここで，財務会計と人事ドメインのそ れぞれについてオントロジー構築を行う理由は，ドメインにより被験者Aと被験者Bの 知識レベルの差が異なることが考えられるためである．二つ目は，同一ドメインの同一 文書集合から各被験者が2回ずつオントロジーを構築することにより，習熟度によるオン トロジー構築時間の変化を調べることである．予備実験の結果により，比較方法1と比較 方法2のどちらを本実験に用いるかを決定することにした．習熟度によるオントロジー構 築時間の差が小さい場合には，比較方法1を用いて本実験を行う．習熟度によるオントロ ジー構築時間の差が大きい場合には，比較方法1ではDODDLE-OWLと手動構築を比較 することは困難であると考えられる．その場合には，予備実験により求めたドメインごと の被験者Aと被験者Bの知識レベルの差を用いて，比較方法2によりDODDLE-OWLと 手動構築の比較を行う．