4. 実験結果
4.2. アウェアネスの導入に関する実験
4.2.1. 評価実験
82
83
表 4.14:各ジャンルの知識に関する事前アンケートの回答の一部
(1:知らない~5:知っている)
表 4.15:グループごとの実験協力者ID
表 4.16:グループごとの実験順序 ジャンル 実験協力者ID 回答
C1 2
C2 5
C3 3
C4 2
C5 4
C6 5
C7 4
C8 2
C9 4
C10 3
C11 4
C12 2
音楽
漫画
ゲーム
映画
グループ 実験協力者ID 指定ジャンル
G1 C1,C2,C3 音楽
G2 C4,C5,C6 漫画
G3 C7,C8,C9 ゲーム
G4 C10,C11,C12 映画
グループ 前半30分 後半30分
G1,G2 他の実験協力者との共有情報なし 他の実験協力者との共有情報あり G3,G4 他の実験協力者との共有情報あり 他の実験協力者との共有情報なし
84
表 4.17:アンケート内容
番号 質問内容 回答
実験タスクの難易度はどうでしたか? (簡単)1・2・3・4・5(難しい)
理由・意見(どのような点が難しかったか)
実験時間の長さについてどう思いますか? (短い)1・2・3・4・5(長い)
理由・意見(どのくらいの時間が適切か など)
他ユーザの共有情報は関係があるアイテム発見に役立ちましたか?
(コンテクスト検索エンジンやGoogle等で見つけやすくなりましたか?) (役に立たなかった)1・2・3・4・5(役に立った)
理由・意見(どのような点が役立ったか? or 不便だったか?)
4 他ユーザの共有情報に意外な関係はいくつありましたか?
5 他ユーザの共有情報に自分の知らないアイテムはありましたか?
知見タグから,その知見の内容が読み取れましたか? (読み取れなかった)1・2・3・4・5(読み取れた)
理由・意見(どのような点が読み取りやすかったか? or 読み取りにくかったか?)
DataJacket・知見共有フォームは利用しやすいと感じましたか? (利用しにくい)1・2・3・4・5(利用しやすい)
理由・意見(良かった点・悪かった点)
共有情報の新着には気づきましたか? (気づかなかった)1・2・3・4・5(気づいた)
理由・意見(良かった点・悪かった点)
特徴的変動のアイコンによって見やすくなりましたか? (ならなかった)1・2・3・4・5(なった)
理由(見やすくなった・ならなかった理由)
10 共有情報を参考にした場合、どのようなことを参考にし、活用しましたか?
(活用した知見Noがあれば記入)
11 意見・感想があれば記入してください 9
1
2
3
6
7
8
85 4.2.1.2. 実験結果・考察
それぞれの条件において発見した知見数を表 4.18,図 4.17に示す.また,それぞれの条 件において実験協力者が検索した回数を表 4.19,図 4.18に示し,箱ひげ図を図 4.19に示 す.アンケートの結果を図 4.20~図 4.26に示す.
表 4.18:それぞれの条件において発見した知見数[個]
図 4.17:それぞれの条件において発見した知見数
なし あり
C1 3 1
C2 4 4
C3 0 2
C4 2 2
C5 3 2
C6 2 3
C7 1 3
C8 0 0
C9 1 3
C10 3 0
C11 2 1
C12 1 3
G3
G4
共有情報
G1
G2
グループ 実験協力者ID
0 1 2 3 4 5
C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12
発見した知見数[個]
実験協力者ID 共有情報なし 共有情報あり
86
表 4.19:検索回数[回]
図 4.18:検索回数
なし あり
C1 28 47
C2 43 33
C3 41 46
C4 28 25
C5 29 48
C6 33 48
C7 39 48
C8 28 47
C9 39 46
C10 14 32
C11 52 58
C12 25 23
計 399 501
実験協力者ID 共有情報
0 10 20 30 40 50 60 70
C1 C2 C3 C4 C5 C6 C7 C8 C9 C10 C11 C12
検索回数[回]
実験協力者ID 共有情報なし 共有情報あり
87
図 4.19:表 4.19の箱ひげ図
図 4.20:(質問1)「実験タスクの難易度はどうでしたか?」に対する評価 0
1 2 3 4 5 6 7
1
(簡単)
2 3 4 5
(難しい)
人数[人]
評価
88
図 4.21:(質問2)「実験時間の長さについてどう思いますか?」に対する評価
図 4.22:(質問3)「他ユーザの共有情報は関係があるアイテム発見に役立ちましたか?
(コンテクスト検索エンジンやGoogle等で見つけやすくなりましたか?)」に対する評価 0
1 2 3 4 5
1
(短い)
2 3 4 5
(長い)
人数[人]
評価
0 1 2 3 4 5
1
(役に立たなかった)
2 3 4 5
(役に立った)
人数[人]
評価
89
図 4.23:(質問6)「知見タグから,その知見の内容が読み取れましたか?」に対する評価
図 4.24:(質問7)「DataJacket・知見共有フォームは利用しやすいと感じましたか?」
に対する評価
0 1 2 3 4 5 6 7
1
(読み取れなかった)
2 3 4 5
(読み取れた)
人数[人]
評価
0 1 2 3 4 5 6 7
1
(利用しにくい)
2 3 4 5
(利用しやすい)
人数[人]
評価
90
図 4.25:(質問8)「共有情報の新着には気づきましたか?」に対する評価
図 4.26:(質問9)「特徴的変動のアイコンによって見やすくなりましたか?」に対する評 価
0 1 2 3 4 5 6 7
1
(気づかなかった)
2 3 4 5
(気づいた)
人数[人]
評価
0 1 2 3 4 5 6
1
(ならなかった)
2 3 4 5
(なった)
人数[人]
評価
91
表 4.18より,12人中 5人が共有情報ありの条件の方が,なしの条件よりも多く知見を 得られているが,4人は共有情報なしの条件の方が,ありの条件よりも多くなっており,共 有情報ありの方が多数発見できるとは限らない結果となっている.
図 4.19について,それぞれの条件における検索回数を比較すると,共有情報ありの方が 多い傾向にあることがわかる.両側 t 検定を行った結果,p = 0.012であり,有意差が認め られた.この結果から,提案システムによってユーザの検索回数が増加するといえる.すな わち,共有情報を参考にすることで,ユーザがクエリを多角的な視点から考案して検索する ことができると考えられる.
図 4.24に示すアンケートの質問7に対する回答では,否定的な意見は無く,多くの実験
協力者がData Jacket・知見共有フォームは利用しやすいと感じていることがわかる.この
結果から,提案システムはリアルタイムの知見共有において大きな負担にならないと考え られる.
図 4.25に示すアンケートの質問8に対する回答では,否定的な意見が2人いるが,多く の実験協力者が共有情報の新着に気づきやすいと感じていることがわかる.評価の理由で は「ポップアップなどがないと,検索結果を見ながら気づくことは難しい.」という回答や
「意識してないと忘れる.」という回答があった.提案システムでは検索結果上部のタブに 表示しているため,スクロールすると確認することができなくなることが原因であると考 える.以上から,画面上で新着数を常に確認できるようにすることで改善されると考えられ る.
92
グループG1について,他の実験協力者との共有情報ありの条件における共有情報の例を それぞれ表 4.20,表 4.21,表 4.22に示す.なお,Noはグループ内の実験協力者全体で何 番目に知見が共有されたかを示す.C3 は8番目の知見で「X JAPAN」を付与しており,
C2は10番目の知見で「X JAPAN」を付与している.このことから,C2はC3の知見を参
考にしてX JAPANに関する知見を探したと考えられる.また,C2は2番目の知見で「紅
白歌合戦」を付与しており,C1は5番目と9番目のアイテム「アニメ紅白歌合戦」「第63 回NHK紅白歌合戦」を見つける際に「紅白歌合戦」をクエリに入力している.このことか ら,C1はC2の知見を参考にして紅白歌合戦に関する知見を探したと考えられる.C1は5 番目では知見を発見できなかったが,9番目では発見することができている.
表 4.20:C1の共有情報の例(共有情報あり)
表 4.21:C2の共有情報の例(共有情報あり)
表 4.22:C3の共有情報の例(共有情報あり)
No アイテム名 期間 特徴的変動 入力されたクエリ 知見タグ データの関係
5 アニメ紅白歌合戦 2012-09~2012-12 SI 紅白歌合戦 2012/6-2013/1 SI
@period Partial Internal なし
ももいろクローバーZ 2013-01~2013-01 MAX 2013/1-2013/1 MAX @item Exact Internal 第63回NHK紅白歌合戦 2013-01~2013-01 MAX 紅白歌合戦 2013/1-2013/1
ALL @period Partial Internal
一方が他方の 原因となるもの 音楽,紅白歌合戦,初出
場,アイドルグループ 9
No アイテム名 期間 特徴的変動 入力されたクエリ 知見タグ データの関係
ヨイトマケの唄 2013-01~2013-01 MAX 2013/1-2013/12 MAX @item Exact Internal 美輪明宏 2013-01~2013-01 MAX 2012/12-2013/2 MAX @item
Exact Internal TOSHI 2010-01~2010-01 MAX TOSHI ALL @period Partial
Integrate TOSHI_with_T-EARTH 2010-01~2010-01 MAX TOSHI 2010/1-2010/2 MAX
@period Partial Integrate
2 音楽,紅白歌合戦,披
露,初出場,フル歌唱
一方が他方の 原因となるもの
10 音楽,X JAPAN,解散,
洗脳,MASAYA,決別
共通の原因により 変動が発生
No アイテム名 期間 特徴的変動 入力されたクエリ 知見タグ データの関係
HIDE 2008-03~2008-03 MAX YOSHIKI 1950/1-2017/12 MAX
@item Exact External YOSHIKI 2008-03~2008-03 MAX YOSHIKI 1950/1-2017/12 MAX
@item Exact External
8 音楽,XJAPAN 共通の原因により
変動が発生
93
グループG2について,共有情報なしの条件におけるC6の共有情報の例を表 4.23に示 し,共有情報ありの条件におけるC4とC6の共有情報の例をそれぞれ表 4.24,表 4.25に 示す.表 4.23に着目すると,C6は1,2番目どちらの知見においても,ジャンル選択で自 動的に付与される知見タグのみであり,自分で考えた知見タグを入力できていないことが わかる.一方,同じC6の共有情報ありの条件での実験結果である表 4.25では,「アニメ」
「京都アニメーション」という知見タグを入力している.このことから,他の実験協力者と の共有情報を頼りにどのようなタグを入力すればよいのかを考察することができたと考え られる.また,C4は「けいおん!」というアイテムが2009年4月~6月にPEAKとなっ たことから1番目の知見を発見しており,C6 は3番目に「けいおん!」「涼宮ハルヒの憂 鬱_(アニメ)」というアイテムがどちらも2009年4月~6月にPEAKであることから知見 を発見している.C6のクリックログから,図 3.45に示す特徴的変動のボタンで「2009年 4月~6月に PEAKとなった」という条件で動向情報を検索していることがわかった.よ って,C6はC4の共有情報を参考にしたと考えられる.
表 4.23: C6の共有情報の例(共有情報なし)
表 4.24:C4の共有情報の例(共有情報あり)
表 4.25:C6の共有情報の例(共有情報あり)
No アイテム名 期間 特徴的変動 入力されたクエリ 知見タグ データの関係
ONE_PIECE 2010-06~2010-08 SI 少年ジャンプ SI @item Exact Internal 少年ジャンプ 2009-09~2009-10 SI 少年ジャンプ SI @period
Exact Internal 尾田栄一郎 2009-02~2009-04 SI 尾田栄一郎 SI @period
Exact Internal 進撃の巨人 2013-04~2013-05 SI 尾田栄一郎 SI @item Exact
Internal
2 漫画 特定の出来事と関連なく,
意味的に関連が深い
漫画 同じ出来事を
構成するもの 1
No アイテム名 期間 特徴的変動 入力されたクエリ 知見タグ データの関係
けいおん! 2009-04~2009-06 PEAK けいおん ALL @period Partial Integrate 軽音楽 2009-03~2009-05 PEAK 軽音 PEAK @period Partial
Integrate
1 漫画,アニメ化 共通の原因により
変動が発生
No アイテム名 期間 特徴的変動 入力されたクエリ 知見タグ データの関係
けいおん! 2009-04~2009-06 PEAK 2009/4-2009/6 PEAK @item Exact Internal 涼宮ハルヒの憂鬱_(アニメ) 2009-04~2009-06 PEAK 2009/4-2009/6 PEAK @item
Exact Internal
漫画,アニメ,
京都アニメーション
共通の原因により 変動が発生 3