• 検索結果がありません。

予備実験

ドキュメント内 コンテクスト検索エンジンにおける (ページ 67-74)

4. 実験結果

4.1. 知見タグの導入とタグ・クエリの拡張に関する実験

4.1.1. 予備実験

工学系大学生・大学院生10名の実験協力者に,コンテクスト検索エンジンを用いて,あ るアイテムに関する知見を 1 時間で可能な限り多く見つけて共有するというタスクを行っ てもらった.1つまたは2つのアイテムに着目して発見した知見を,最低5つ見つけること を目標とした.また,実験終了後に表 4.2のアンケートに回答してもらった.なお,データ ベース更新時間の都合上,実験協力者A1のみ従来システムV1の旧データベースを利用し た.このとき,2015年1月~2017年12月の期間における知見を得ることができず,最近 の知識を頼りにすることができないためアイテムを探すことが困難となる可能性がある.

しかし,実験前に検索期間について説明している点や,Google などの汎用検索エンジンの 補助的な利用を許可している点,評価実験に利用するデータセット作成のための実験であ る点から,大きな影響はないと考える.

表 4.2:アンケート内容

17 http://blog.apitore.com/2016/09/25/word2vec-webapi-free/#comments

番号 質問内容 回答

1 実験タスクの難易度はどうでしたか. 簡単・やや簡単・普通・やや難しい・難しい 2 実験時間の長さについてどう思いますか. 短い・少し短い・適当・少し長い・長い 3 5つ以上の知見を見つけるのに実験時間は十分でしたか. 短い・少し短い・適当・少し長い・長い DataJacket・知見の公開・共有方法は簡単でしたか. 簡単・やや簡単・普通・やや難しい・難しい 理由・意見(空欄でも可)

タグによる知見の共有は簡単だと思いましたか. 簡単・やや簡単・普通・やや難しい・難しい 理由・意見(空欄でも可)

6 何か意見・感想があれば記入してください.(空欄でも可)

4

5

66 4.1.1.2. 実験結果・考察

それぞれの実験協力者が見つけた知見数を表 4.3,図 4.1に示す.全部で61個の知見が 発見され,そのうち1つのアイテムから発見されたものは24個,2つのアイテムから発見 されたものは37個であった.Data Jacketは85個,特徴的変動は94個,知見タグは144 個,拡張タグは473個であった.また,1つまたは2つのアイテムから発見された知見の例 をそれぞれ表 4.4,表 4.5に示す.Noは表 3.6のid に対応しており,何番目に知見が共 有されたかを示す.例えば,表 4.4のNo.12に関して「デング熱」の動向情報が2014年9 月にMAXとなっている.知見タグを確認すると,2014年9月に日本でデング熱感染者が 確認された事実に基づいてこの知見が作成されたと考えられる.また,表 4.5のNo.51に 関して「福山雅治」と「ガリレオ_(テレビドラマ)」の動向情報が共に2013年3月~5月に PEAKとなっている.知見タグを確認すると,福山雅治が出演しているテレビドラマ「ガリ レオ」の最終回が放送された事実に基づいてこの知見が作成されたと考えられる.

表 4.3:発見した知見数[個]

実験協力者ID 1つのアイテムから発見 2つのアイテムから発見 計

A1 1 9 10

A2 1 3 4

A3 0 5 5

A4 0 4 4

A5 12 4 16

A6 2 0 2

A7 2 7 9

A8 0 4 4

A9 5 0 5

A10 1 1 2

計 24 37 61

67

図 4.1:発見した知見数

表 4.4:1つのアイテムから発見された知見の例

表 4.5:2つのアイテムから発見された知見の例 0

2 4 6 8 10 12 14 16 18

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10

知見数[個]

実験協力者ID

1つのアイテムから発見 2つのアイテムから発見

No アイテム 期間 特徴的変動 知見タグ データの関係

12 デング熱 2014-09~2014-09 MAX 日本,2014年9月,感染,感染確認 なし 45 ハロウィン 2009-09~2009-11 PEAK 周期的,10月,イベント なし 57 Microsoft 2014-02~2014-03 SI ニュース,名称変更,Office Web Apps,

Office Online,オンラインサービス なし

No アイテム 期間 特徴的変動 知見タグ データの関係

日本エレキテル連合 2014-05~2014-07 SI エンタの神様 2014-05~2014-07 SI 落合博満 2011-10~2011-12 PEAK 中日ドラゴンズ 2011-10~2011-12 SD

福山雅治 2013-03~2013-05 PEAK

ガリレオ_(テレビドラマ) 2013-03~2013-05 PEAK ドラマ,俳優,最終回 なし 51

1 お笑い,話題,ブレイク 因果関係

優勝,オレ流,中日ドラゴンズ,監督 類似的変化 2

68

それぞれの行動におけるクリック数を表 4.6,図 4.2 に示す.query は「Search」ボタ ン,pageはページ遷移ボタン,itemはアイテムの動向情報の詳細表示ボタンをクリックす ることを意味する.

表 4.6:クリック数[回]

図 4.2:クリック数

実験協力者ID query page item

A1 85 67 5

A2 50 39 45

A3 155 15 2

A4 31 148 3

A5 78 117 6

A6 74 44 11

A7 47 84 1

A8 89 90 24

A9 73 34 3

A10 76 65 3

計 758 703 103

0 20 40 60 80 100 120 140 160 180

A1 A2 A3 A4 A5 A6 A7 A8 A9 A10

クリック数[回]

実験協力者ID query page item

69

それぞれのアンケートに対する評価を図 4.3~図 4.7に示す.図 4.6の「DataJacket・

知見の公開・共有方法は簡単でしたか.」というアンケートについて,10人中4人がやや難 しいと回答した.その理由として,図 3.18で2つ目のアイテムの特徴的変動を探している 際に,1つ目に選択したアイテムの特徴的変動を確認できない点や,お気に入りに登録した アイテムからData Jacket を作成する際に,特徴的変動を再び選択しなければならない点 が回答で指摘された.この回答から,Data Jacketとして公開したいアイテムを選択した際 に特徴的変動を保持するシステムや,2つのアイテムを比較しながら選択できるようなシス テムを導入する必要があると考える.図 4.7 の「タグによる知見の共有は簡単だと思いま したか.」というアンケートについて,10人中5人がやや難しいと回答した.その理由とし て,カンマ区切りで知見タグを入力するのが面倒である点や,どのようなタグを入力してよ いかがわからないという点が回答で指摘された.この回答から,知見タグ入力のユーザイン タフェースの改良や,候補から入力するタグを選択できるようにする必要があると考える.

図 4.3:(質問1)「実験タスクの難易度はどうでしたか.」に対する評価 0

1 2 3 4 5

簡単 やや簡単 普通 やや難しい 難しい

人数[人]

評価

70

図 4.4:(質問2)「実験時間の長さについてどう思いますか.」に対する評価

図 4.5:(質問3)「5つ以上の知見を見つけるのに実験時間は十分でしたか.」に対する評価 0

1 2 3 4 5 6 7 8

短い 少し短い 普通 少し長い 長い

人数[人]

評価

0 1 2 3 4 5 6

短い 少し短い 普通 少し長い 長い

人数[人]

評価

71

図 4.6:(質問4)「DataJacket・知見の公開・共有方法は簡単でしたか.」に対する評価

図 4.7:(質問5)「タグによる知見の共有は簡単だと思いましたか.」に対する評価 0

1 2 3 4 5

簡単 やや簡単 普通 やや難しい 難しい

人数[人]

評価

0 1 2 3 4 5 6

簡単 やや簡単 普通 やや難しい 難しい

人数[人]

評価

72

ドキュメント内 コンテクスト検索エンジンにおける (ページ 67-74)

関連したドキュメント