RDF(S) コンテンツ管理機能の評価

実験の概要

RDF(S)コンテンツ管理機能の有用性を確認するために，RDF(S)コンテンツ管理機能が

働く場合と働かない場合の両方で，2種類の異なる領域について，MR³ を用いてRDF(S) コンテンツの構築を行った．評価実験は，RDF，RDFS，MR³ に精通している1人の被 験者が行った．被験者は，理工学部の4年生で，4ヶ月程度RDF，RDFS，OWLについ てのゼミに参加している．また，その間に，MR³ を含むいくつかのセマンティックWeb コンテンツ構築支援ツールを用いて，数回程度，セマンティックWebコンテンツの構築 を経験している．被験者は，本評価実験で構築するRDF(S)コンテンツの領域専門家では ないため，領域知識を十分には持っているとはいえない．しかし，被験者は領域専門文書 を読んで領域について理解することはできる．実験1および2の概要を図3.45に示す．被 験者は，実験1を行った後に，実験2を行った．

実験1では，RDF(S)コンテンツ管理機能を有する MR³ を用いて，被験者は自動車販 売業務に関するRDF(S)コンテンツを構築した．RDF(S)コンテンツ構築時に，被験者は 自動車販売業務の作業手順を参照した．自動車販売業務の作業手順は862語を含む日本語 で記述されている．

実験2では，RDF(S)コンテンツ管理機能を取り除いたMR³ を用いて，被験者は果樹 園通信販売についてのRDF(S)コンテンツを構築した．RDF(S)コンテンツ構築時に，被 験者は果樹園通信販売の作業手順を参照した．果樹園通信販売の作業手順は1245語を含 む日本語で記述されている．

3.6. RDF(S)コンテンツ構築支援ツールの評価 62

自動車販売業務の 作業手順が記述された文書

（８６２語）

果樹園通信販売業務の 作業手順が記述された文書

（１２４５語）

MR³ RDF（S）管理機能ありありありあり

MR³ RDF（S)管理機能なしなしなしなし

被験者

（RDF（S)， MR³に精通）

参照 参照

操作 操作 操作

操作 操作操作操作操作

RDF(S)コンテンツ RDF(S)コンテンツ

実験１ 実験２

構築時間 構築時間 構築時間

構築時間 構築時間構築時間構築時間構築時間

比較 比較 比較 比較

図 3.45: 実験1および2の概要

表 3.4: 実験1および2で構築されたステートメント数の比較 実験1 実験2

RDFSクラス数 18 21

RDFSプロパティ数 16 16 RDFS部分のステートメント数 65 79 RDF部分のステートメント数 31 26 全ステートメント数 96 105

被験者のMR³ の操作履歴をとるために，評価実験中は MR³ の操作ログ保存機能が有 効となっている．

実験の結果

表3.4から表3.8に実験結果を示す．表3.4は，実験1および2で構築されたステートメ ント数の比較を示している．表3.5は，実験1および2におけるRDF(S)コンテンツ構築 時間を示している．表3.6は，実験1および2における MR³ の操作回数の比較を示して いる．表3.6の操作とは，RDF要素およびRDFS要素の挿入，編集，削除とする．O→M に関する操作は自動的に行われるため，表3.6にはO→Mの操作回数は含まれていない．

しかし，M→Oは半自動的に行われるため，表3.6には，M→Oの操作回数は含まれて

表 3.5: 実験1および2におけるRDF(S)コンテンツ構築時間 実験1 実験2

27分40秒 42分00秒

3.6. RDF(S)コンテンツ構築支援ツールの評価 63

表 3.6: 実験1および2における MR³ の操作回数の比較 実験1 実験2 モデル構築における操作回数 83 69 オントロジー構築における操作回数 49 96 全操作回数 132 165

表 3.7: 実験1におけるRDF(S)コンテンツ管理機能の使用回数

RDF(S)コンテンツ管理機能 回数

タイプ 機能名

O→M RDFSクラス名の変更 0

RDFSプロパティ名の変更 2

RDFリソースタイプの変更（RDFSクラスの新規作成） 4 M→O RDFリソースタイプの変更（RDFSクラス名の変更） 2 RDFプロパティの変更（RDFSプロパティの新規作成） 15 RDFプロパティの変更（RDFSプロパティ名の変更） 0

いる．表3.7は，実験1におけるRDF(S)コンテンツ管理機能の使用回数を示している．

表3.8は，実験1および実験2におけるオントロジーおよびモデル編集モードの切り替え 回数の比較を示している．

実験の考察

表3.4より，実験1で構築されたRDF(S)コンテンツの規模は，実験2で構築された RDF(S)コンテンツの規模とほぼ同程度といえる．表3.5より，RDF(S)コンテンツ管理機 能を用いたほうがRDF(S)コンテンツ管理機能を用いないよりも早くRDF(S)コンテンツ を被験者は構築できたといえる．表3.6より，RDF(S)コンテンツ管理機能によりRDF(S) コンテンツ構築における操作回数を軽減することができたといえる．表3.8より，RDF(S) コンテンツ管理機能によりモデルおよびオントロジー間の編集モード切替回数を軽減す ることができたといえる．

表 3.8: 実験1および2におけるオントロジーおよびモデル編集モードの切替回数の比較 実験1 実験2

モデル編集モードからオントロジー編集モードへの切替回数 13 34 オントロジー編集モードからモデル編集モードへの切替回数 12 34 全編集モードの切替回数 25 68

3.6. RDF(S)コンテンツ構築支援ツールの評価 64

RDF RDFS

作成

営業員A 営業員

顧客情報A 顧客情報

要望E 要望 作成

作成

営業員A 営業員

顧客情報A 顧客情報

要望E 要望 聞き出す

ユーザによる変更

聞き出す 作成

作成 RDF(S)管理機能による

半自動変更 rdfs:Resource

人間 要望 顧客情報

顧客 営業員

rdfs:Resource 人間 要望 顧客情報

顧客 営業員

図 3.46: 実験1におけるRDF(S)コンテンツ管理機能の使用例

被験者からは，RDF(S)コンテンツ管理機能を用いない場合には，RDFSコンテンツの 編集を行うたびに，整合性をとるためにRDFコンテンツを修正することが面倒であった という感想が得られた．逆に，RDF(S)コンテンツ管理機能を用いた場合には，整合性が

（半）自動的に保たれるため，RDF(S)コンテンツの修正を容易に行うことができたとい う感想が得られた．

図3.46は，実験1におけるRDF(S)コンテンツ管理機能の使用例を示している．図3.46 の上部は，RDFSコンテンツを示しており，図3.46の下部はRDFコンテンツを示して いる．図3.46は，実験1において構築されたRDFおよびRDFSコンテンツ全体の中か ら，RDF(S)コンテンツ管理機能が使用された場面に関連する部分のRDFおよびRDFS コンテンツを取り出したものとなっている．RDFSコンテンツにおける矩形はRDFSク ラスを表しており，楕円はRDFSプロパティを表している．RDFコンテンツにおける楕 円はRDFリソースを表しており，ラベル付き矢印はRDFプロパティを表している．ま た，RDFコンテンツにおけるRDFリソースの右上のラベルは，RDFリソースのタイプ を表している．図3.46では，RDFリソース「営業員A」とRDFリソース「要望E」の 間のRDFプロパティ「作成」が，被験者によりRDFプロパティ「聞き出す」に修正され た．その際に，RDFSプロパティ「聞き出す」はRDFSコンテンツ中に定義されていな いため，MR³ は被験者にRDFSプロパティ「作成」の名前を変更するか，新規にRDFS プロパティ「聞き出す」を新規作成するかを確認した．ここで，被験者はRDFリソース

「営業員A」とRDFリソース「顧客情報A」の間の関係は，RDFプロパティ「作成」の まま保持したいと考え，被験者はRDFSプロパティ「聞き出す」の新規作成を選択した．

その結果，RDF(S)コンテンツ管理機能により，RDFSプロパティ「聞き出す」がRDFS コンテンツに半自動的に定義された．

RDF(S)コンテンツの構築は創造的な作業であるため，二人の被験者が同一領域のRDF(S)

コンテンツを構築する場合でも，全く同一のRDF(S)コンテンツを構築することは困難

である [43]．また，領域知識やツールの習熟度などの被験者の能力も構築結果に大きな影

響を及ぼす．さらに，構築されたRDF(S)コンテンツの質の評価を定量的に行うことも困

3.6. RDF(S)コンテンツ構築支援ツールの評価 65

表 3.9: 評価データのリソース数，リテラル数，ステートメント数 リソース数 リテラル数 ステートメント数

RDF部分 15 35 59

RDFS部分 34 46 131

全体 49 81 190

表 3.10: 評価データのクラス数およびプロパティ数

クラス数 プロパティ数

13 19

難である．そのため，RDF(S)コンテンツ構築支援ツールの評価を定量的に行うことは困 難である．しかしながら，本実験によって，構築時間の削減，操作回数の軽減，オントロ ジーおよびモデル編集モードの切替回数の軽減という点において，RDF(S)コンテンツ管 理機能の有用性を示すことができたといえる．