::;毒 濃
;;l l曇 鷺 瞬 朝 :駕:鷺
図4.17検 索 の 流 れ(問 題8(2)‑B)
4.2.2実 験 結 果 ・考 察
本 節 で は,実 験 結 果 に よ り,提 案 す る特 徴 的 変 動 タ イ プ を 導 入 した コ ンテ ク ス ト検 索 エ ン ジ ン の 実 用 性 に つ い て 考 察 す る.表4.2に,評 価 実 験 に お い て 各 実 験 協 力 者 か ら得 られ た 解 答 を 示 す.な お,解 答 例 に お け る 太 字 は,複 数 名 が 解 答 した 期 間,ア イ テ ム で あ る.検 索 結 果 を提 示 す るペ ー ジ を ス ク ロ ー ル しな い 協 力 者 が 多 か っ た の で,多 くの 解 答 例 が 検 索 結 果 リス トの 上 位30件 に集 中 して い る.問 題4で 「去 年 同 期 比 急 上 昇 」 を 「急 上 昇 」 と勘 違 い した た め,正 解 が 得 られ な か っ た 実 験 協 力 者 が1名 い た が(協 力 者1),そ れ 以 外 の 問 題 に つ い て は 全 員 正 答 す る こ とが で き て い る.
表4.2評 価 実 験 で 得 られ た解 答
問題番号 問題文 解答例
1 ね ぎ の 動 向 が150円 以 上 を迎 え た 時 期 は? 2005・1〜2012i8(f面 格)
2
2008年5月 〜2008年12.月 に 平 均 値 以 下 を 迎 え た ア イ テ ム は?
に ん じ ん(GoogleTrend8) キ ャ ベ ツ(価 格) 台 風(GoogleTrends) な ど
3
レ ギ ュ ラ ー ガ ソ リ ン の 動 向 が 山 形 で あ る 時 期 に,逆 向 き の 変 動(谷 形)を した ア イ テ ム は?
自転 車(販 売 量) 生 し い た け(価 格) 台 風(GoogleTrend8)
な ど
4
放 射 能 の 動 向 が 去 年 の 同 期 よ り急 上 昇 し て い る期 間 に,去 年 の 同 期 よ り急 下 降 して い る ア イ テ ム は?
BLOOD(Yahoo!ヒ ッ トf牛数) JR東 日 本(GoogleTrend8)
iPod(Yahoo!ヒ ッ トf牛数) な ど
5
レギ ュ ラ ー ガ ソ リ ン が 周 期 的 な 変 動 を 示 した 期 間 は?
2000‑9‑2001‑5C1ヒ 海 道)
2001‑11〜2002・4(岩 手)
2005・6〜2006・4(全 国)
な ど
6
空 気 清 浄 機 のHit数 を 単 位 とす る動 向 が 安 定 して い る 期 間 に 同 じ く安 定 して い る ア イ テ ム は?
自 転 車(Googlernrends) た ま ね ぎ(価 格)
ス マ ー ト フ ォ ン(Yahoo1プ ロ グ)
な ど
7
2010年3月 〜2011年5月 に 動 向 変 動 が 安 定 し て い る ア イ テ ム の 中 で,2008年 に も 安 定 し て い る ア イ テ ム は?
ミ ネ ラ ル ウ ォ ー タ ー(Google Tτends)
き ゅ う り(GoogleTrend8) ば れ い し ょ(価 格) な ど
8
自転 車 の 台 を 単 位 とす る動 向 が50台 以 上 とな る 同 時 に,去 年 の 同 期 よ り急 上 昇 して い る 期 間 は?
2011・3(北 関 東)(販 売 量)
本 実 験 で は,実 験 協 力 者 ご と に,各 問題 の 解 答 時 間 や ク エ リを プ ロ グ ラ ム で 自動 的 に デ ー タ ベ ー ス に 記 録 した .こ のデ ー タに基 づ き,定 量的 ユー ザ ビ リテ ィ評価 手法NEM(Novice ExpertratioMethod)[22】 に よ り,用 意 した 問 い に 答 え る過 程 で,実 験 協 力 者 が 新 た な 変 動 タ イ プや 検 索 機 能 を ス ム ー ズ に 利 用 で き た か を 評 価 す る.NEMと は,開 発 者(Expert, 上 級 者)と ユ ー ザ(Novice,初 心 者)が 特 定 の タ ス ク 達 成 に 要 す る時 間 の 比 率(NE比)を 測 定 し,開 発 者 とユ ー ザ の ギ ャ ップ の 大 き さ を評 価 す る 手 法 で あ る.
解 答 過 程 に お い て,各 問 題 の 開 始,検 索 完 了,解 答 終 了 と い う三 つ の 過 程 が あ る と考 え る.問 題 を 読 ん で 本 番 の 検 索 を行 う前 に,[start+問 題 番 号 】を 入 力 して 検 索 す る こ と に よ っ て,開 始 時 刻 を 記 録 す る.そ の 後,問 題 に 解 答 す る た め の 検 索 を行 い,ク エ リご と の 実 行 時 刻 を そ れ ぞ れ 記 録 して,最 後 の ク エ リを 送 信 した 時 刻 を 検 索 完 了 時 刻 とす る.検 索 結 果 か ら幾 つ か の ア イ テ ム,期 間 な ど を 解 答 用 紙 に 記 入 した 後,[end+問 題 番 号1を ク エ リ とす る 検 索 を 行 い,解 答 終 了 の 時 刻 とす る.
NEMに 使 う時 間 デ ー タ は 図4.18に 示 す よ うに,時 間 ① と時 間 ② で あ り,「各 問 題 の 解 答 時 間 二 ①+② 」 と定 義 す る.
① 開 始 ク エ リ送 信 時 刻 か ら,検 索 完 了 時 刻 ま で,解 答 用 ク エ リが 送 信 され る総 時 間
② 検 索 完 了 時 刻 か ら,解 答 終 了 時 刻 ま で,検 索 結 果 を受 け 取 っ て か ら,解 答 用 紙 に記 入 す る総 時 間
解答時間
解 答 開 始 検 索 完 了( 解 答 終 了
1){2) 【
end+問 題 番 号 】
【start+問題 番 号1 【クエ リ1
図4.18各 問題 の 解 答 時 間
◆ 各 問 題 の 解 答 時 問 に 基 づ く比 較
表4.3(問 題1〜 問題5)及 び 表4.4(問 題6〜 問 題8)に,各 問 題 に お け る 解 答 用 ク エ リ が 送 信 され る 総 時 間 と,検 索 結 果 を 受 け 取 っ て か ら,解 答 用 紙 に 記 入 す る総 時 間 を 示 す.
各 解 答 段 階 に お い て,実 験 協 力 者 の 平 均 作 業 時 間 と,開 発 者 の 作 業 時 間 の 差 も表 に 示 して い る.赤 宇 は 「協 力 者 平 均 」 が 「開 発 者 」 よ り長 い 場 合,緑 は 短 い 場 合 を 意 味 す る.な お, 問 題7と 問 題8は,最 低2回 の 検 索 を 必 要 とす る た め,2回 の 入 力 時 間 に 分 け て 記 入 して い る.ま た,各 問 題 に お け る 実 験 協 力 者(Novice)と 開 発 者(Expert),NE比 を表4.5に 示 す.合 計 解 答 時 間 のNE比 を 図4.19,① に 関す る時 間 のNE比 を 図4.20に そ れ ぞ れ 示 す.
さ ら に,本 実 験 は 問 題 が 異 な る も の の,既 存 コ ン テ ク ス ト検 索 エ ン ジ ン を 用 い た 評 価 実 験 [35】と 実 験 手 順 は 同 じで あ る た め,そ の 結 果 との 比 較 を 図4.21に 示 す.
表4.3各 問題 に お け る① 解 答 クエ リ送 信 時 間 と② 解 答 記入 時 間(問 題1〜 問 題5)
協力者 番号
問題1 問題2 問題3 問題4 問 題5
①入 力 ②解答 ① 入力 ②解答 ①入力 ②解答 ①入力 ②解答 ①入力 ② 解答
1 3:34 1:44 2:50 2:02 2:44 1:33 5:34 1:25 1:22 2:08
2 0:55 0:54 3:19 3:56 1:10 2:25 11:53 2:41 1:36 1:07
3 2:40 0:42 1:22 2:19 5:48 2:35 3:53 0:51 1:08 2:28
4 2:09 1:03 0:33 0:59 2:38 1:15 0:31 1:19 0:28 1:36
5 0:51 0:54 2:34 1:15 1:13 0:56 2:01 1:10 1:01 1:42
6 1:23 1:06 0:49 1:13 0:49 1:13 1:02 0:57 0:53 2:08
7 1:18 0:50 1:18 2:07 0:58 1:30 3:52 1:37 0:29 1:27
8 1:04 1:05 1:35 1:27 1:20 1:38 3:00 0:46 0:54 2:43
9 0:28 1:09 0:47 0:40 0:59 0:45 0:49 0:30 0:38 1:28
10 1:22 0:58 1:09 1:24 1:01 1:05 1:12 1:06 0:59 2:36
協力者
平均
1:34 1:03 1:38 1:44 1:52 1:29 3:23 1:14 0:57 1:56開発者
0:37 0:29 0:38 2:17 0:28 1:59 0:41 2:17 0:28 2:33差異
0:57 0:34 1:00 0:33 1:24 0:29 2:42 1:03 0:29 0:37表4.4各 問 題 にお け る① 解 答 クエ リ送 信時 間 と② 解 答 記 入 時 聞(問 題6〜 問 題8)
協力者 番号
問 題6 問 題7 問題8
①入力 ② 解答 ① 入 力1 ① 入 力2 ②解答 ① 入 力1 ①入力2 ②解答
1 2:35 1:30 4:20 2:14 2:08 1:27 1:15 1:01
2 5:42 1:03 0:45 1:46 0:49 2:40 1:33 0:34
3 3:59 1:34 1:28 1:02 0:44 2:23 0:44 0:44
4 1:33 0:46 0:44 1:54 2:02 0:29 0:29 0:42
5 2:15 1:03 1:23 2:29 0:40 1:49 1:09 0:33
6 1:10 2:13 0:33 3:13 1:01 1:04 0:57 0:40
7 1:01 1:31 1:28 1:45 0:41 1:09 2:12 0:32
8 2:15 0:44 1:03 1:59 1:23 1:21 4:17 0:25
9 1:54 0:53 0:44 3:06 0:48 0:49 4:11 0:58
10 1:24 0:47 1:14 1:34 2:21 1:13 0:56 0:35
協力者
平均
2:23 1:12 1:22 2:06 1:16 1:26 1:46 0:40開発者
0:36 1:37 0:53 0:24 2:44 0:26 0:24 0:44差異
1:47 0:25 0:29 1:42 1:28 1:00 1:22 0:04表4.5各 問題 の合 計 解 答 時 間
問 題1 問題2 問題3 問題4 問題5 問題6 問 題7 問題8
1 5:18 4:52 4:17 6:59 3:30 4:05 8:42 3:43
2 1:49 7:15 3:35 14:34 2:43 6:45 3:20 4:47
3 3:22 3:41 8:23 4:44 3:36 5:33 3:14 3:51
4 3=12 1:32 3:53 1:50 2:04 2:19 4:40 1:40
5 1:45 3:49 2:09 3:11 2:43 3:18 4:32 3:31
6 2:29 2:02 2:02 1:59 3:01 3:23 4:47 2:41
7 2:08 3:25 2:28 5:29 1:56 2:32 3:54 3:53
8 2:09 3:02 2:58 3:46 3:37 2:59 4:25 6:03
9 1:37 1:27 1:44 1:19 2:06 2:47 4:38 5:58
10 2:20 2:33 2:06 2:18 3:35 2:11 5:09 2:44
協力者
平均
2:37 3:22 3:21 4:37 2:53 3:35 4:44 3:53開発者
1:06 2:55 2:27 2:58 3:01 2:13 4:01 1:34NE比
2.38 1.15 1.37 1.56 0.96 1.62 1.18 2.48回
150
間
N 日NE比
●噂一協 力者 平 均
比 一 開 発者
図4.19開 発 者 と実験 協力 者 の 合 計 解 答 時 間 の 比 率
脚勘蜘蜘入力時間
(秒︾ NE比
ooooooiなa 加m⁝¶轟0
IiiiiilN砒 一 開 発者
■●一 協 力者 平 均
図4.20開 発 者 と実 験 協 力 者 の① に 要 した 時 間 の 比 率
3.00
平 均2・50 N2.oo
E1.50 比 1.00
図4.21既 存 コ ンテ クス ト検 索エ ン ジ ン との 比 較(平 均NE比)
上 述 で 各 問 題 の 解 答 時 間 に 基 づ く比 較 を行 う と,実 験 協 力 者1番 お よ び2番 は,他 の 協 力 者 よ り,解 答 用 クエ リが 送 信 され る ま で(① 入 力 時 間)に 時 間 を 要 して い る が,問 題 文 を誤 っ て 解 釈 した り,複 数 の 検 索 で 結 果 を確 認 した り した 結 果,不 要 な 検 索 が 生 じた た め で あ る.特 に 問 題4「 放 射 能 の 動 向 が 去 年 の 同期 よ り急 上 昇 して い る 期 間 に,去 年 の 同 期 よ り急 下 降 して い る ア イ テ ム は?」 に お い て,協 力 者2番 は 「去 年 同 期 よ り急 上 昇 」 と 「同 期 よ り急 下 降 」 を 勘 違 い し,複 数 の 検 索 を試 して か ら正 解 が 得 られ た が,協 力 者1番 は 「去 年 同期 よ り急 上 昇 」 と 「急 上 昇 」 を 勘 違 い し,正 解 が 得 られ な か っ た.
ま た,問 題8に お い て,正 解 を 得 る ま で に 必 要 な 検 索 手 順 に は2種 類 が あ り,ど ち ら を 選 ぶ か で 解 答 時 間 に 差 が 見 られ た.結 果 と して,開 発 者 と解 答 時 間 が 大 き く 異 な る 結 果 と な っ た.問 題1に 関 しで は,シ ス テ ム の利 用 に慣 れ て い な い た め に,NE比 が 大 き く な る傾 向 に あ っ た と考 え る.な お,図4.21に 示 す よ うに,既 存 コ ン テ ク ス ト検 索 エ ン ジ ン と比 較 して,① 入 力 時 間 の 平 均NE比 が9.4%低 下 し,合 計 解 答 時 間 の 平 均NE比 が22.1%低 下 し て い る.こ の こ とか ら,新 た な 変 動 タ イ プ や 検 索 機 能 は よ り使 い や す く,効 率 的 に 検 索 す る こ とが 可 能 で あ る こ とが わ か る.
◆ 各 問 題 に お け る ク エ リ構 文 の 正 解 率 に 基 づ く比 較
表4.6に,各 問 題 に お い て,各 実 験 協 力 者 が 正 解 を 見 つ け る た め に 入 力 した ク エ リ数 を 集 計 して 示 す.Tは 正 しい 構 文 に 従 っ た ク エ リ数 で あ り,Fは 誤 っ た ク エ リ数 で あ る.ま た, 問 題7,問 題8は 最 低2回 の 検 索 が 必 要 とな る が,2回 の ク エ リ数 を合 わ せ て 記 入 して い る.
そ の た め,こ の2つ の 問 題 に お け る送 信 され た ク エ リ数 が 他 方 よ り多 い.各 問 題 を視 覚 的 に 比 較 す る た め,図4.22に 各 問 題 にお け る 誤 っ た クエ リの 割 合 を 示 す.ま た,表4.7に, 協 力 者 ご との 全 ク エ リに 占 め る正 しい 構 文 に よ る ク エ リの 割 合 を 示 す.さ らに,図4.23に, 正 しい 構 文 クエ リ割 合 の 実 験 協 力 者 あ た りの 平 均 値 に 関 し,既 存 コ ン テ ク ス ト検 索 エ ン ジ ン と比 較 した 結 果 を示 す.
表4.6各 問題 にお け る検 索 クエ リ数
問題1 問題2 問題3 問題4 問題5 問 題6 問題7 問題8
T F T F T F T F T F T F T F T F
1 1 0 1 0 1 2 2 3 2 0 2 0 5 1 3 0
2 1 0 1 0 1 1 6 0 2 0 10 0 2 0 5 3
3 1 0 1 0 7 10 3 4 2 1 1 3 3 0 6 0
4 1 0 2 0 1 2 2 0 1 0 1 1 4 0 2 0
5 1 0 2 0 1 0 1 0 1 0 2 1 2 0 2 0
6 1 0 1 0 1 0 1 0 1 0 1 0 6 0 2 0
7 1 1 1 0 1 0 3 1 1 0 1 0 8 0 3 4
8 1 0 1 0 1 1 2 0 1 0 1 0 2 0 4 1
9 1 0 1 0 1 0 1 0 1 0 1 4 4 0 2 2
10 1 0 1 0 1 0 1 0 1 0 1 0 3 0 2 0
協力者 平均
1.0 0.1 1.2 0.0 1.6 1.6 2.2 0.8 1.3 0.1 2.1 0.9 3.9 0.1 3.1 1.0
開発者 1 0 1 0 1 0 1 0 1 0 1 0 2 0 2 0
45 40 35 30 ク エ25 リ20 数 15
10
0
誤つたクエリの割合
一 誤 った クエリ数 一 正しい 構 文 クエリ数 +誤 りの 割 合
図4.22各 問 題 に お け る 誤 っ た ク エ リ の 割 合
表4.7実 験 協 力者 ご との全 クエ リに 占め る正 しい 構 文 に よ る クエ リの 割 合
正 しい 構 文 ク エ リ数 全 ク エ リ数 正 し い 構 文 クエ リ割 合
1 17 23 73.9%
2 28 32 87.5%
3 24 42 57.1%
4 14 17 82.4%
5 12 13 923%
6 14 14 100.0%
7 19 25 76.0%
8 13 15 86.7%
9 12 18 66.7%
10 11 11 100.0%
協力者
平均
16.4 21.0 82.3%ク15 エ
リ 数10
82.5%
82.0%
81.5%
81.0%
80.5%
80.0%
79.5%
79.0%
78.5%
78.0%
77.5%
正 し い 構 文 ク エ リ 割 合
一 正しい構文 クエリ数
■嘘P正 しい 構 文 クエリ割 合
図4.23既 存 コ ン テ ク ス ト検 索 エ ン ジ ン と の 比 較(正 し い 構 文 に よ る ク エ リの 割 合)
問 題4と 問 題6の ク エ リ数 が 他 よ り も多 くな っ て い る が,前 述 の とお り実 験 協 力 者1, 2が 多 くの クエ リを 実 行 して い る こ とが原 因 で あ る.ま た,図4.22よ り,問 題3に お け る クエ リの 誤 り率 が 高 くな っ て い る.こ れ は 協 力 者3が 誤 っ た ク エ リを 多 数 入 力 した こ とが 原 因 で あ る.入 力 され た クエ リ を調 べ た と こ ろ,ク エ リ構 文 の 順 番 を 間 違 っ た り,レ ギ ュ ラ ー ガ ソ リン の 代 わ り に ガ ソ リ ン を ア イ テ ム と指 定 す る 検 索 を 行 っ た り して い た.こ の 問 題 に 対 す る解 決 策 と して は,入 力 した ア イ テ ム に 対 応 す る連 想 機 能 の 導 入 な どが 考 え られ る.ま た,表4.7よ り,全 体 に 占 め る 正 しい 構 文 クエ リの 害lj合は,最 高 で100%,最 低 で57.1%, 平 均82.3%と な っ た.Googleな どの 汎 用 検 索 エ ン ジ ン と違 い,コ ン テ ク ス ト検 索 エ ン ジ ン は 複 数 の 基 本 検 索 機 能 を持 ち,そ れ ぞ れ 複 数 の 必 須 パ ラ メー タ を 指 定 す る必 要 が あ るた め, 実 験 協 力 者 ご と に,ク エ リ構 文 の 理 解 ・習 熟 に ば らつ き が 発 生 した.今 回 の 実 験 で は,開 始 前 に 開 発 者 か ら の 操 作 説 明 を 受 け た だ け で,練 習 の 機 会 を設 け な か っ た こ と も,正 しい 構 文 ク エ リ割 合 が 低 下 した 一 つ の 要 因 と 考 え られ る.し か し,本 論 文 で は新 しい 変 動 タイ プ お よ び そ れ に 対 応 し た 新 た な パ ラ メ ー タ を追 加 した た め,既 存 の コ ン テ ク ス ト検 索 エ ン ジ ン よ り も複 雑 に な っ て い る に も か か わ らず,正 しい クエ リ構 文 の 割 合 は増 加 して い る 結 果 が 得 られ た(図4.23参 照).問 題 も異 な る た め厳 密 な 比 較 は 困 難 で あ る が,提 案 す る変 動 タ イ プ の 導 入 に よ り,使 い や す さ は低 下 して い な い と考 え る.
NEM比 や ク エ リ構 文 の 誤 り率 な どを 分 析 した 結 果 よ り,変 動 タ イ プ の 追 加 に よ り拡 張 し た コ ン テ ク ス ト検 索 エ ン ジ ン は 従 来 コ ン テ ク ス ト検 索 エ ン ジ ン と同 様 の 使 い や す さ を 保 ち つ つ,よ り多 様 な 検 索 を効 率 よ く実 行 す る こ と を 可 能 に す る 点 で 実 用 的 と考 え る.