• 検索結果がありません。

JWNL

4.12 DODDLE-OWL と手動構築との比較評価

4.12.4 本実験の結果

本実験では,被験者Aは財務会計(支払)ドメインをDODDLE-OWLを用いて,人事

(給与支給)ドメインを手動でオントロジーの構築を行った.また,被験者Bは財務会計

表 4.16: 予備実験: 人事ドメインオントロジー構築における被験者Aおよび被験者Bの

知識レベルの差

被験者A 被験者B 入力語抽出 1.000 0.820

is-a関係構築 1.000 1.241

4.12. DODDLE-OWLと手動構築との比較評価 126

表 4.17: 本実験: 財務会計(支払)ドメインにおける被験者Aと被験者Bのオントロジー 構築時間

被験者A 被験者A 被験者B DODDLE-OWL 手動構築(予想) 手動構築

入力語抽出時間(分) 22 63 41

入力概念選択時間(分) 8 0 0

is-a関係構築時間(分) 35 91 82

合計時間(分) 65 154 123

表 4.18: 本実験: 財務会計(支払)ドメインにおいて被験者Aと被験者Bが構築したオン トロジーの入力語数および概念数

被験者A 被験者B DODDLE-OWL 手動構築

入力語数 275 177

概念数 326 215

(支払)ドメインを手動で,人事(給与支給)ドメインをDODDLE-OWLを用いてオン トロジーの構築を行った.被験者AとB共に,DODDLE-OWLを用いてオントロジーを 構築した後に,手動によりオントロジーを構築した.

評価方法としては,はじめに,予備実験で求めた表4.15および表4.16の財務会計(調 達)および人事(採用)ドメインそれぞれについての被験者Aと被験者Bの知識レベル の差を用いて,手動構築した被験者のオントロジー構築時間からDODDLE-OWLを用い た被験者の予想手動構築時間を求める.次に,予想手動構築時間とDODDLE-OWLを用 いたオントロジー構築時間を比較した.

表4.17に,本実験: 財務会計(支払)ドメインにおける入力語抽出時間,入力概念選択 時間,is-a関係構築時間,合計時間を示す.表 4.18に,本実験: 財務会計(支払)ドメイ ンにおけるオントロジーの入力語数と概念数を示す.表 4.19に,本実験: 財務会計(支 払)ドメインのDODDLE-OWLを用いた入力語抽出における自動抽出語数,被験者Aが 追加した入力語数,正答率,再現率を示す.

表 4.19: 本実験: 財務会計(支払)ドメインのDODDLE-OWLを用いた入力語抽出にお ける自動抽出語数,被験者Aが追加した入力語数,正答率,再現率

自動抽出語数 537 被験者Aが追加した入力語数 18 入力語数 275 正答率 0.48 再現率 0.93

4.12. DODDLE-OWLと手動構築との比較評価 127

表 4.20: 本実験: 人事(給与支給)ドメインにおける被験者Aと被験者Bのオントロジー 構築時間

被験者B 被験者B 被験者A DODDLE-OWL 手動構築(予想) 手動構築

入力語抽出時間(分) 40 35 43

入力概念選択時間(分) 8 0 0

is-a関係構築時間(分) 38 109 88

合計時間(分) 86 144 131

表 4.21: 本実験: 人事(給与支給)ドメインにおいて被験者Aと被験者Bが構築したオン トロジーの入力語数および概念数

被験者B 被験者A DODDLE-OWL 手動構築

入力語数 300 212

概念数 393 272

表4.20に,本実験: 人事(給与支給)における入力語抽出時間,入力概念選択時間,is-a 関係構築時間,合計時間を示す.また,表 4.21に,本実験: 人事(給与支給)におけるオ ントロジーの入力語数と概念数を示している.表 4.22に,本実験: 人事(給与支給)ド

メインのDODDLE-OWLを用いた入力語抽出における自動抽出語数,被験者Bが追加し

た入力語数,正答率,再現率を示す.

表 4.19および表4.22における正答率および再現率は,式4.7,式 4.8,式4.9を用いて 求めた.式 4.7,式 4.8,式 4.9において,SIはDODDLE-OWLが獲得した入力語数を,

ST は自動抽出語数を,UIは被験者が追加した入力語数を,Iは入力語数をそれぞれ表し ている.

表 4.22: 本実験: 人事(給与支給)ドメインのDODDLE-OWLを用いた入力語抽出にお ける自動抽出語数,被験者Bが追加した入力語数,正答率,再現率

自動抽出語数 783 被験者Bが追加した入力語数 63 入力語数 300 正答率 0.38 再現率 0.79

4.12. DODDLE-OWLと手動構築との比較評価 128

SI = I−UI (4.7)

正答率 = SI

ST (4.8)

再現率 = SI

I (4.9)