JWNL
4.12 DODDLE-OWL と手動構築との比較評価
4.12.4 本実験の結果
本実験では,被験者Aは財務会計(支払)ドメインをDODDLE-OWLを用いて,人事
(給与支給)ドメインを手動でオントロジーの構築を行った.また,被験者Bは財務会計
表 4.16: 予備実験: 人事ドメインオントロジー構築における被験者Aおよび被験者Bの
知識レベルの差
被験者A 被験者B 入力語抽出 1.000 0.820
is-a関係構築 1.000 1.241
4.12. DODDLE-OWLと手動構築との比較評価 126
表 4.17: 本実験: 財務会計(支払)ドメインにおける被験者Aと被験者Bのオントロジー 構築時間
被験者A 被験者A 被験者B DODDLE-OWL 手動構築(予想) 手動構築
入力語抽出時間(分) 22 63 41
入力概念選択時間(分) 8 0 0
is-a関係構築時間(分) 35 91 82
合計時間(分) 65 154 123
表 4.18: 本実験: 財務会計(支払)ドメインにおいて被験者Aと被験者Bが構築したオン トロジーの入力語数および概念数
被験者A 被験者B DODDLE-OWL 手動構築
入力語数 275 177
概念数 326 215
(支払)ドメインを手動で,人事(給与支給)ドメインをDODDLE-OWLを用いてオン トロジーの構築を行った.被験者AとB共に,DODDLE-OWLを用いてオントロジーを 構築した後に,手動によりオントロジーを構築した.
評価方法としては,はじめに,予備実験で求めた表4.15および表4.16の財務会計(調 達)および人事(採用)ドメインそれぞれについての被験者Aと被験者Bの知識レベル の差を用いて,手動構築した被験者のオントロジー構築時間からDODDLE-OWLを用い た被験者の予想手動構築時間を求める.次に,予想手動構築時間とDODDLE-OWLを用 いたオントロジー構築時間を比較した.
表4.17に,本実験: 財務会計(支払)ドメインにおける入力語抽出時間,入力概念選択 時間,is-a関係構築時間,合計時間を示す.表 4.18に,本実験: 財務会計(支払)ドメイ ンにおけるオントロジーの入力語数と概念数を示す.表 4.19に,本実験: 財務会計(支 払)ドメインのDODDLE-OWLを用いた入力語抽出における自動抽出語数,被験者Aが 追加した入力語数,正答率,再現率を示す.
表 4.19: 本実験: 財務会計(支払)ドメインのDODDLE-OWLを用いた入力語抽出にお ける自動抽出語数,被験者Aが追加した入力語数,正答率,再現率
自動抽出語数 537 被験者Aが追加した入力語数 18 入力語数 275 正答率 0.48 再現率 0.93
4.12. DODDLE-OWLと手動構築との比較評価 127
表 4.20: 本実験: 人事(給与支給)ドメインにおける被験者Aと被験者Bのオントロジー 構築時間
被験者B 被験者B 被験者A DODDLE-OWL 手動構築(予想) 手動構築
入力語抽出時間(分) 40 35 43
入力概念選択時間(分) 8 0 0
is-a関係構築時間(分) 38 109 88
合計時間(分) 86 144 131
表 4.21: 本実験: 人事(給与支給)ドメインにおいて被験者Aと被験者Bが構築したオン トロジーの入力語数および概念数
被験者B 被験者A DODDLE-OWL 手動構築
入力語数 300 212
概念数 393 272
表4.20に,本実験: 人事(給与支給)における入力語抽出時間,入力概念選択時間,is-a 関係構築時間,合計時間を示す.また,表 4.21に,本実験: 人事(給与支給)におけるオ ントロジーの入力語数と概念数を示している.表 4.22に,本実験: 人事(給与支給)ド
メインのDODDLE-OWLを用いた入力語抽出における自動抽出語数,被験者Bが追加し
た入力語数,正答率,再現率を示す.
表 4.19および表4.22における正答率および再現率は,式4.7,式 4.8,式4.9を用いて 求めた.式 4.7,式 4.8,式 4.9において,SIはDODDLE-OWLが獲得した入力語数を,
ST は自動抽出語数を,UIは被験者が追加した入力語数を,Iは入力語数をそれぞれ表し ている.
表 4.22: 本実験: 人事(給与支給)ドメインのDODDLE-OWLを用いた入力語抽出にお ける自動抽出語数,被験者Bが追加した入力語数,正答率,再現率
自動抽出語数 783 被験者Bが追加した入力語数 63 入力語数 300 正答率 0.38 再現率 0.79
4.12. DODDLE-OWLと手動構築との比較評価 128
SI = I−UI (4.7)
正答率 = SI
ST (4.8)
再現率 = SI
I (4.9)