DEIM Forum 2017 A8-5
1
作業者の状況がモバイルクラウドソーシングに与える影響の評価
池田 和史 帆足 啓一郎
††KDDI 総合研究所 〒356-8502 埼玉県ふじみ野市大原 2-1-15
E-mail: †{kz-ikeda, hoashi}@kddi-research.jp
あらまし モバイルクラウドソーシングでは、時間や場所といった条件を満たす作業者に対し、能動的にタスク を通知することへの需要が大きい。能動的な通知では、作業者は必ずしもタスクの実施に適した状況にない可能性 があるが、作業者の状況がモバイルクラウドソーシングの性能に与える影響はこれまで十分に評価されていなかっ た。我々は、タスクの実施率、受託金額、作業品質は作業者の状況に依存するか？という研究課題を設定した。経 済学や心理学の知見に基づき、作業者の多忙度、疲労度、同行者の有無がタスクの実施に影響を与えるという仮説 を立てた。50 人の被験者による 3 週間の実証実験の結果、作業者の状況が性能に有意に影響することが確認された。 キーワード クラウドソーシング、モバイルクラウドソーシング、コンテキスト、マイクロタスク、HCI
1. 概 要
近 年 、 時 間 や 場 所 と い っ た 条 件 を 満 た す 作 業 者 に モ バ イ ル 端 末 を 用 い て タ ス ク を 実 施 さ せ る モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に 注 目 が 集 ま っ て い る 。 レ ス ト ラ ン の レ コ メ ン ド [1]や 、ニ ュ ー ス 記 事 の 素 材 と な る 写 真 や ビ デ オ の 撮 影 [2]な ど 、モ バ イ ル ク ラ ウ ド ソ ー シ ン グ を 活 用 し た 研 究 事 例 は 増 加 し て い る 。 一 般 的 な ク ラ ウ ド ソ ー シ ン グ で は 、 作 業 者 は 自 身 の 都 合 で 仕 事 を す る の に 対 し 、 モ バ イ ル 環 境 で は Gigwalk[3]の よ う に 、 条 件 を 満 た す 作 業 者 へ の プ ッ シ ュ 通 知 機 能 を 有 す る も の が 多 い 。 こ れ に よ り 、 必 ず し も 作 業 に 適 し た 状 況 に な い 作 業 者 も タ ス ク を 閲 覧 す る 点 で 、 一 般 的 な ク ラ ウ ド ソ ー シ ン グ と は 異 な る 。 し か し 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 作 業 者 の 状 況 が タ ス ク の 実 施 に 与 え る 影 響 の 評 価 は 十 分 に 行 わ れ て い な か っ た 。 我 々 は 、 作 業 者 の 状 況 は タ ス ク の 実 施 率 や 受 託 金 額 、 作 業 品 質 に 影 響 を 与 え る か ？ と い う 研 究 課 題 を 設 定 し た 。経 済 学 や 心 理 学 の 知 見 に 基 づ き 、作 業 者 の 多 忙 度 、 疲 労 度 、 同 行 者 の 有 無 が タ ス ク 実 施 に 影 響 を 与 え 得 る と い う 仮 説 を 立 て た 。 経 済 学 に お け る 機 会 費 用 の 考 え 方 [4]に よ れ ば 、作 業 者 が タ ス ク 以 外 に 優 先 度 の 高 い 行 動 の 選 択 肢 を 有 し て い る （ す な わ ち 多 忙 な ） 場 合 、 よ り 高 い 金 額 を 提 示 し な け れ ば 、 タ ス ク を 実 施 し な い と 考 え ら れ る 。 心 理 学 の 分 野 で は 、 作 業 者 の 精 神 的 な 疲 労 が タ ス ク の 品 質 に 影 響 を 与 え る こ と が 報 告 さ れ て い る [5]。ま た 、同 行 者 が い る 場 合 、モ バ イ ル 端 末 を 操 作 す る こ と に 対 す る 心 理 的 な 障 壁 が あ る [6] と の 報 告 が あ る 。 本 稿 で は 、 こ れ ら の 状 況 が タ ス ク 実 施 に 与 え る 影 響 を 評 価 す る た め 、50 人 の 被 験 者 に よ る 3 週 間 の 実 証 実 験 を 実 施 し た 。 モ バ イ ル 端 末 上 で 実 施 可 能 な 時 間 制 限 の あ る タ ス ク を 不 定 期 に 通 知 し 、 タ ス ク 通 知 時 の 被 験 者 の 状 況 （ 多 忙 度 、 疲 労 度 、 同 行 者 の 有 無 ） を ア ン ケ ー ト に よ り 取 得 し た 。 こ れ に よ り 、 状 況 毎 の タ ス ク 実 施 率 を 取 得 し た 。 状 況 と 受 託 金 額 の 関 係 を 評 価 す る た め 、 タ ス ク 金 額 が 一 定 の 金 額 を 中 心 と す る 一 様 分 布 と な る よ う 設 定 し た 。 被 験 者 は 一 般 に 安 価 な タ ス ク ほ ど 拒 否 す る 傾 向 が あ る が 、 多 忙 な ど の 特 定 の 状 況 下 で よ り 安 価 な タ ス ク を 拒 否 す る 傾 向 が あ れ ば 、 当 該 状 況 に お い て 平 均 実 施 金 額 が 相 対 的 に 高 く な る こ と を 観 測 で き る 。 状 況 と 作 業 品 質 の 関 係 を 評 価 す る た め 、 正 解 が 既 知 で あ る タ ス ク を 用 い て 、 状 況 ご と の 精 度 を 評 価 し た 。 実 験 の 結 果 、 タ ス ク の 実 施 率 は 作 業 者 の 多 忙 度 に 最 も 大 き く 影 響 さ れ 、 多 忙 度 が 高 い 場 合 、 タ ス ク の 実 施 率 は 相 対 値 で 30.1%低 下 し た (p<.001)。受 託 金 額 は 同 行 者 の 有 無 に 最 も 大 き く 影 響 さ れ 、同 行 者 が い る 場 合 、 受 託 金 額 が 7.67%上 昇 し た (p<.001)。作 業 品 質 は 疲 労 度 に 最 も 大 き く 影 響 さ れ 、 精 度 は F 値 で 37.4%低 下 し た (p<.05)。 加 え て 、 被 験 者 に 対 す る ア ン ケ ー ト で 、 我 々 の 仮 説 を 裏 付 け る 意 見 が 得 ら れ た 。 本 稿 の 構 成 は 次 の 通 り で あ る 。 始 め に 、 2 章 で ク ラ ウ ド ソ ー シ ン グ お よ び モ バ イ ル 関 連 の 研 究 を 整 理 す る 。 次 に 、 3 章 で 既 存 の 経 済 学 、 心 理 学 の 知 見 を 元 に 仮 説 を 設 定 す る 。4 章 で 実 験 の 設 計 を 説 明 し 、5 章 で 実 験 結 果 を 示 す 。6 章 で 実 験 結 果 の 議 論 と 今 後 の 課 題 を 示 す 。2. 関 連 研 究
2.1. クラウドソーシングの性 質
ク ラ ウ ド ソ ー シ ン グ に お け る タ ス ク の 実 施 率 と 金 額 、 品 質 に 関 す る 既 存 の 研 究 を 紹 介 す る 。 作 業 者 に と っ て 最 も 高 い モ チ ベ ー シ ョ ン は お 金 を 得 る こ と と い わ れ る [7]よ う に 、タ ス ク の 実 施 率 と 金 額 は 強 く 関 連 し て お り 、 最 も 単 純 に タ ス ク の 実 施 率 を 増 や す 方 法 は 、 よ り 多 く の 金 額 を 提 示 す る こ と と さ れ る [8]。タ ス ク の 金 額 を 増 や す こ と な く 、 実 施 率 を 向 上 さ せ る ア プ ロ ー チ と し て 、 自 身 の 貢 献 が ど れ だ け 世 の 中 に 役 に 立 つ の か を 説 明 す る 手 法 [9]や 、作 業 者 の 好 奇 心 を 引 き 出 す 手 法 [10]な ど が 提 案 さ れ て い る 。タ ス ク の 品 質 管 理 に 関 し て は 、 複 数 の 作 業 者 の 回 答 が 一 致 し た 場 合 に の み 報 酬 を 支 払 う 手 法 [11]や 、 作 業 者 を 訓 練 す る た め に フ ィ ー ド バ ッ ク を 与 え る 手 法 [12] な ど が 提 案 さ れ て い る 。 品 質 の 評 価 で は 、 回 答 が 既 知 で あ る タ ス ク を 混 入 さ せ る 手 法 [13]が 広 く 用 い ら れ る 。 ま た 、 タ ス ク の 品 質 は タ ス ク の 金 額 と は 関 連 が な い と 言 わ れ て い る [8]。
2.2. モバイルクラウドソーシングと通 知
モ バ イ ル 環 境 を 想 定 し た ク ラ ウ ド ソ ー シ ン グ の 研 究 は 近 年 注 目 を 集 め て お り [14]、 様 々 な タ ス ク が 扱 わ れ て い る 。 シ ン プ ル な タ ス ク と し て は 、 モ バ イ ル 端 末 を 汎 用 な イ ン タ フ ェ ー ス と み な し 、 書 き 起 こ し を 依 頼 す る も の が あ る [15]。 よ り 高 度 で 状 況 に 依 存 す る タ ス ク と し て 、 特 定 の 場 所 で レ ス ト ラ ン を レ コ メ ン ド す る も の [1]や 、ニ ュ ー ス 記 事 の 作 成 を 効 率 化 す る た め に 現 地 に 居 合 わ せ た 作 業 者 に 写 真 や ビ デ オ を 撮 影 さ せ る も の [2]な ど が 提 案 さ れ て い る 。場 所 や 時 間 を 特 定 し た タ ス ク に お い て は 、 条 件 を 満 た す 作 業 者 に 対 し て 、 能 動 的 に 通 知 を 行 い た い 場 合 も 多 い が 、 多 忙 や 疲 労 と い っ た 作 業 者 の 内 面 的 な 状 況 を 考 慮 し て タ ス ク を 依 頼 す る よ う な 提 案 は 行 わ れ て い な い 。 HCI 分 野 で は モ バ イ ル 端 末 向 け の 情 報 提 示 方 法 に 関 す る 研 究 が 行 わ れ て お り 、 端 末 か ら 取 得 可 能 な ユ ー ザ の 状 況 に 基 づ い て 、 通 知 に 適 し た タ イ ミ ン グ を 予 測 す る 手 法 が 提 案 さ れ て い る [16]。一 般 的 に 、通 知 は 煩 わ し い も の と な り が ち で あ る が 、 通 知 さ れ る 情 報 が ユ ー ザ に と っ て 関 連 性 の 高 い も の で あ れ ば 、 望 ま し く 感 じ る と い う 調 査 が あ る [17]。ま た 、煩 わ し く て も 能 動 的 に 情 報 を 取 得 す る よ り も 通 知 さ れ る こ と を 望 む と い う 調 査 も 報 告 さ れ て い る [18]。3. タ ス ク に 影 響 を 与 え る 心 理 的 な 要 因
3.1. 研 究 課 題
既 存 の 通 知 に 関 す る 研 究 で は 、 情 報 の 閲 覧 率 を 向 上 さ せ る た め の 方 式 が 多 く 提 案 さ れ て い る 。 閲 覧 自 体 が 目 的 と な る 広 告 や 通 知 に は 有 効 で あ る が 、 タ ス ク の 実 施 率 や 受 託 金 額 、 作 業 品 質 と い っ た ク ラ ウ ド ソ ー シ ン グ に お け る 性 能 を 向 上 す る 観 点 で は 不 十 分 と い え る 。 作 業 者 は 現 在 地 か ら 作 業 場 所 ま で の 距 離 を 考 慮 し て 、 タ ス ク の 金 額 が 見 合 う か ど う か を 判 断 す る [19]と い っ た 報 告 は あ る が 、 作 業 者 の 内 面 的 な 状 況 が タ ス ク の 実 施 に 与 え る 影 響 は 評 価 さ れ て い な い 。上 記 の こ と か ら 、 我 々 は 次 の 研 究 課 題 を 設 定 し た 。 課 題 ： モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 タ ス ク の 実 施 率 、 受 託 金 額 、 作 業 品 質 は 作 業 者 の 状 況 に 影 響 さ れ る か ？3.2. 仮 説
経 済 学 や 心 理 学 の 分 野 の 研 究 で は 、 人 の 経 済 的 な 価 値 観 や 心 理 的 な 状 態 と い っ た 内 面 的 な 要 因 が 作 業 の 実 施 や 効 率 に 与 え る 影 響 に つ い て 言 及 さ れ て い る 。 こ れ ら の 知 見 を 元 に 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に 影 響 を 与 え 得 る 状 況 の 仮 説 を 立 て る 。 経 済 学 に お け る 機 会 費 用 の 考 え 方 に よ れ ば 、 人 は 作 業 で 得 ら れ る 報 酬 と 、 そ の 他 の 行 動 の 選 択 肢 を 比 較 し て 優 先 度 付 け を 行 っ て い る [4]。一 般 に 機 会 費 用 は 収 入 に 基 づ い て 算 出 さ れ [20]、 旅 行 の よ う な 人 の 様 々 な 活 動 に つ い て 値 付 け を 行 う こ と が で き る [21]。 機 会 費 用 が ク ラ ウ ド ソ ー シ ン グ に 適 用 可 能 か ど う か を 評 価 し た 研 究 報 告 は 確 認 さ れ て い な い が 、 作 業 者 が 多 忙 で あ る 場 合 、 タ ス ク が 実 施 さ れ る に は 、 多 く の 選 択 肢 よ り も 優 先 さ れ る 必 要 が あ る た め 、 そ の 機 会 費 用 は 大 き い と 考 え ら れ る 。 そ こ で 我 々 は 次 の 仮 説 を 設 定 し た 。 仮 説 １ ： モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 作 業 者 が 多 忙 と 感 じ て い る 場 合 、 タ ス ク の 実 施 率 は 低 下 し 、 受 託 金 額 は 上 昇 す る 。 心 理 学 の 分 野 で は 、 人 は 精 神 的 な 疲 労 が あ る 場 合 、 モ チ ベ ー シ ョ ン が 低 下 し 、 注 意 が 散 漫 に な る こ と が 報 告 さ れ て い る [5]。既 存 の 研 究 で は 車 の 運 転 の よ う な 継 続 的 な 作 業 に お け る 疲 労 の 影 響 を 評 価 し た も の が 多 い 。 例 え ば 、Campagne ら の 研 究 で は 、運 転 手 の 疲 労 と 速 度 の 分 散 や 車 線 の は み 出 し に 関 連 が あ る こ と を 報 告 し て い る [22]。モ バ イ ル ク ラ ウ ド ソ ー シ ン グ で は 、特 定 の 時 間 、 場 所 で 作 業 を 行 う よ う な 一 度 限 り の タ ス ク が 想 定 さ れ る が 、 我 々 は こ の よ う な 環 境 で あ っ て も 、 作 業 者 の 疲 労 が 作 業 品 質 に 影 響 す る と い う 仮 説 を 設 定 し た 。 仮 説 2： モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 作 業 者 が 疲 労 を 感 じ て い る 場 合 、 タ ス ク の 作 業 品 質 は 低 下 す る 。 同 行 者 の 存 在 が モ バ イ ル 端 末 を 使 用 す る 上 で 心 理 的 な 障 壁 に な る こ と が 報 告 さ れ て い る 。Misra ら は 、テ ー ブ ル に モ バ イ ル 端 末 を 置 い た 状 態 で カ ッ プ ル に 会 話 を さ せ る 実 験 を 通 し て 、 モ バ イ ル 端 末 の 存 在 が 「 親 近 感 」や「 共 感 」を 低 下 さ せ る こ と を 確 認 し た [6]。ク ラ ウ ド ソ ー シ ン グ 作 業 者 も 同 行 者 が 存 在 す る 場 合 に 、 タ ス ク の 実 施 を 躊 躇 す る 可 能 性 が 考 え ら れ る 。 ま た 、 同 行 者 と の コ ミ ュ ニ ケ ー シ ョ ン と タ ス ク を 同 時 に 実 行 す る こ と は 、 作 業 の 品 質 を 低 下 さ せ る 可 能 性 も あ る 。 学 生 を 対 象 と し た 実 験 に お い て 、 授 業 中 に ノ ー ト パ ソ コ ン を 利 用 さ せ る こ と が 、 学 生 の 集 中 力 と 試 験 の 成 績 を 低 下 さ せ た と 報 告 さ れ て い る [23]。 こ れ ら の 知 見 を 元 に 、 我 々 は 次 の 仮 説 を 設 定 し た 。 仮 説 3： モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 作 業 者 に 同 行 者 が い る 場 合 、 タ ス ク の 実 施 率 は 低 下 、 受 託 金 額 は 上 昇 し 、 作 業 品 質 は 低 下 す る 。4. 実 験 設 計
作 業 者 の 状 況 が タ ス ク 実 施 に 影 響 を 与 え る か ど う か を 検 証 す る た め に 被 験 者 実 験 を 実 施 し た 。50 人 の 被 験 者 が 3 週 間 (2016 年 8 月 8 日 ～ 28 日 )の 実 験 に 参 加 し た 。 被 験 者 に は ク ラ ウ ド ソ ー シ ン グ を 実 施 す る た め の ス マ ー ト フ ォ ン ア プ リ を 配 布 し た 。 ア プ リ は 、 一 日 に 複 数 回 タ ス ク を 通 知 す る 。 被 験 者 は 自 身 の 状 況 に 応 じ て 、 タ ス ク を 実 施 し て も よ い し 、 無 視 し て も よ い 。 作 業 者 が タ ス ク を 実 施 し た 場 合 、 そ の 時 の 状 況 と し て 、 多 忙 度 、 疲 労 度 、 同 行 者 の 有 無 を ア ン ケ ー ト に よ っ て 取 得 し た 。 ま た 、 タ ス ク を 通 知 し た が 、 実 施 し な か っ た 時 間 帯 に つ い て も 、 定 期 的 に ア ン ケ ー ト を 通 知 し 、 当 該 時 間 の 状 況 を 振 り 返 っ て 取 得 し た 。 タ ス ク の 金 額 は 毎 回 異 な り 、 設 定 し た 平 均 金 額 を 中 心 と す る 一 様 分 布 と し た 。 タ ス ク に は 、 正 解 が 既 知 の デ ー タ が 含 ま れ て お り 、 作 業 者 の 回 答 精 度 を 評 価 で き る よ う に し た 。 こ れ ら の デ ー タ を 元 に 、 我 々 は 状 況 ご と の タ ス ク の 実 施 率 、 平 均 受 託 金 額 、 作 業 品 質 を 評 価 し た 。4.1. 被 験 者
人 材 派 遣 会 社 に 登 録 さ れ た モ ニ タ 調 査 員 か ら 被 験 者 を 募 集 し た（ N=50, 58%が 女 性 、年 齢 は 20-58 歳 、平 均 年 齢 37.5, 標 準 偏 差 9.1）。 被 験 者 は 職 業 を 有 し 、 居 住 地 、 勤 務 地 は 日 本 各 地 に 及 ぶ 。 参 加 の 条 件 と し て 、 Android の ス マ ー ト フ ォ ン ま た は iPhone を 保 有 す る 被 験 者 を 集 め た 。そ れ 以 外 に 属 性 を 偏 ら せ る 要 因 は な く 、 募 集 時 も 属 性 に よ る フ ィ ル タ リ ン グ は 実 施 し な か っ た 。4.2. タスクとアプリケーション
ロ グ の 取 得 や 通 知 条 件 を 柔 軟 に 設 定 で き る よ う 、 実 験 に は 我 々 が 独 自 に 開 発 し た ク ラ ウ ド ソ ー シ ン グ ア プ リ ケ ー シ ョ ン を 利 用 し た 。 ア プ リ は イ ン ス ト ー ル さ れ た モ バ イ ル 端 末 に 対 し 、 指 定 さ れ た 時 刻 に タ ス ク を 通 知 す る 機 能 を 有 す る 。 タ ス ク は 通 信 品 質 に 関 す る 調 査 と し て 、 現 在 地 に お け る 体 感 的 な 通 信 品 質 を ア ン ケ ー ト で 回 答 さ せ た 。 通 信 品 質 の 調 査 は 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ で は 一 般 的 な タ ス ク と さ れ て い る [24], [25]。ア プ リ は 不 定 期 に タ ス ク を 通 知 し 、作 業 者 は タ ス ク の 金 額 を 確 認 し た 後 、 タ ス ク を 実 施 す る か 否 か を 選 択 す る こ と が で き る 。 各 タ ス ク に つ い て 、 作 業 者 が タ ス ク を 完 了 し た か 否 か を ア プ リ の ロ グ 情 報 か ら 把 握 す る こ と を 可 能 と し た 。 実 験 設 定 の 概 要 を 表 1 に 示 す 。 タ ス ク の 所 要 時 間 は 中 央 値 で 216 秒 、 通 知 は 一 日 27 回 、 約 30 分 間 隔 で 不 定 期 に 行 わ れ た 。 通 知 か ら タ ス ク を 受 託 す る ま で の 期 限 は 5 分 と し 、タ ス ク の 受 託 後 、実 施 完 了 の 期 限 は 15 分 に 設 定 さ れ た 。 報 酬 は 30 円 (1 タ ス ク 4 分 換 算 で 時 給 450 円 )を 中 心 と す る 10 円 ～ 50 円（ 同 、時 給 150 円 ～ 750 円 ） の 5 円 刻 み の 一 様 分 布 と し た 。 被 験 者 は 50 人 、 実 験 期 間 は 3 週 間 (21 日 )で あ っ た 。 タ ス ク 種 別 通 信 品 質 調 査 所 要 時 間 216 秒 / タ ス ク (中 央 値 ) 通 知 頻 度 27 回 / 日 (7AM-8:30PM) 報 酬 金 額 10~50 円 / タ ス ク (平 均 30 円 、 5 円 刻 み の 一 様 分 布 ) 評 価 指 標 実 施 率 、 平 均 受 託 金 額 、 タ ス ク 品 質 被 験 者 数 50 人 実 験 期 間 3 週 間 (2016 年 8 月 8 日 ～ 8 月 28 日 ) 表 1 実 験 設 定 の 概 要 1. ビ デ オ を 視 聴 し て 次 の 設 問 に 回 答 し て く だ さ い 。 1-1 動 画 が 止 ま る こ と は 何 回 あ り ま し た か 。 (a) な し (b) 1 回 (c) 2 回 (d) 3 回 (e) 4 回 以 上 (f) 動 画 が 停 止 し て 終 了 （ 15 秒 経 過 し て も 再 開 し な い ） 1-2 画 像 が 乱 れ る こ と は 何 回 あ り ま し た か 。 (a) な し (b) 1 回 (c) 2 回 (d) 3 回 (e) 4 回 以 上 2. あ な た の 現 在 の 状 況 に つ い て 教 え て く だ さ い 。 2-1 現 在 の 移 動 状 況 を 教 え て く だ さ い 。 A. ◌ 移 動 中 ◌ 滞 在 中 B. ◌ 電 車 内 ◌ 屋 外 ◌ 屋 内 2-2 現 在 地 の 詳 細 を 教 え て く だ さ い (文 章 入 力 ) e.g. 「 ○ ○ 駅 の ××線 ホ ー ム に い ま す 。」 2-3 多 忙 度 を 教 え て く だ さ い 。 (a) と て も 忙 し い (b) ど ち ら か と い え ば 忙 し い (c) ど ち ら か と い え ば 忙 し く な い (d) 全 く 忙 し く な い 2-4 疲 労 度 を 教 え て く だ さ い 。 (a) と て も 疲 れ て い る (b) ど ち ら か と い え ば 疲 れ て い る (c) ど ち ら か と い え ば 疲 れ て い な い (d)全 く 疲 れ て い な い 2-5 同 行 者 を 教 え て く だ さ い 。 (a) 自 分 一 人 (b) 家 族 (c) 知 人・ 友 人 (d) 仕 事 の 関 係 者 (e) そ の 他 （ フ リ ー 記 述 ） 表 2 ア ン ケ ー ト タ ス ク の 質 問 項 目 通 信 品 質 評 価 タ ス ク で は 、 作 業 者 は 3 分 間 の ス ト リ ー ミ ン グ 動 画 を 視 聴 し 、 視 聴 環 境 に お け る 動 画 品 質 に 関 す る ア ン ケ ー ト に 答 え る と い う タ ス ク と し た 。 ク ラ ウ ド ソ ー シ ン グ を 利 用 し た ス ト リ ー ミ ン グ 動 画 の QoE (Quality of Experience) 評 価 は よ く 知 ら れ た タ ス ク の 1 つ で あ る [26]。ア ン ケ ー ト で は 、通 信 品 質 に 関 す る 質 問 と 作 業 者 の 現 在 の 状 況 に 関 す る 質 問 を 実 施 し た 。 表 2 に 質 問 項 目 を 示 す 。 通 信 品 質 に 関 す る 質 問 で は 、 通 信 品 質 の 劣 化 に よ り 動 画 が 停 止 し た 回 数 と 、 動 画 に ノ イ ズ が 発 生 し た 回 数 を 報 告 さ せ た 。 加 え て 、 通 信 品 質 に 影 響 を 与 え る 現 在 の 状 況 に 関 す る 質 問 と し て 、 移 動 手 段 を 選 択 形 式 で 取 得 し 、 現 在 地 を フ リ ー テ キ ス ト で 入 力 さ せ た 。作 業 者 の 状 況 に つ い て は 、多 忙 度 、疲 労 度 、 同 行 者 に 関 す る 質 問 を 行 う こ と で 取 得 し た 。 作 業 品 質 を 評 価 す る た め 、 正 解 が 既 知 で あ る タ ス ク を 混 在 さ せ る 方 法 を 用 い た 。 作 業 者 に 提 示 さ れ る 3 分 間 の 動 画 は 全 て 同 じ 内 容 で あ る が 、 25%の 確 率 で 意 図 的 に ノ イ ズ を 混 入 さ せ た 動 画 を 提 示 し た 。 動 画 中 の 異 な る 時 間 に 約 15 秒 の ノ イ ズ を 発 生 さ せ た 5 種 類 の 動 画 を 用 意 し 、 ラ ン ダ ム で 提 示 し た 。 こ れ ら の 動 画 を 提 示 さ れ た 作 業 者 が 表 2 の ア ン ケ ー ト の 1-2 で ノ イ ズ あり と 回 答 す れ ば 、 正 し く タ ス ク を 実 施 し た と い え る 。 一 方 、 実 際 に 通 信 品 質 の 低 下 に よ っ て 、 動 画 に ノ イ ズ が 発 生 す る ケ ー ス を 区 別 す る た め 、 ア プ リ で は 動 画 全 体 を バ ッ フ ァ リ ン グ す る 再 生 方 法 と し た 。 通 信 品 質 が 低 下 し た 場 合 、 動 画 の 再 生 が バ ッ フ ァ に 追 い つ き 、 再 生 が 停 止 し 、 以 降 の 部 分 は 再 生 さ れ な い よ う に し た 。 こ れ に よ り 、通 信 品 質 が 悪 い 場 合 、1-1 で「 (f)動 画 が 停 止 し て 終 了 」 が 選 択 さ れ る た め 、 意 図 的 に ノ イ ズ を 混 入 し た 動 画 と 区 別 す る こ と が で き る 。
4.3. 作 業 者 の状 況
多 忙 度 、疲 労 度 、同 行 者 は 表 2 の 2-3～ 2-5 に 記 載 の 質 問 と 選 択 肢 に よ り 取 得 す る 。 多 忙 度 は 4 種 類 の 選 択 肢 で 取 得 す る が 、 分 析 時 は 「 (a) と て も 忙 し い 」、「 (b) ど ち ら か と い え ば 忙 し い 」を 多 忙 、「 (c) ど ち ら か と い え ば 忙 し く な い 」、「 (d) 全 く 忙 し く な い 」を 非 多 忙 と し て 扱 う 。 同 様 に 疲 労 度 も 疲 労 と 非 疲 労 、 同 行 者 は 同 行 者 あ り 、 な し の 2 値 と し て 扱 う 。 タ ス ク 実 施 率 の 評 価 に は 、 タ ス ク を 実 施 し な か っ た 場 合 に つ い て も 状 況 を 取 得 す る こ と が 必 要 と な る 。 そ の た め 、 3 時 間 ご と に 作 業 者 に 別 途 ア ン ケ ー ト を 通 知 し 、 直 近 の 3 時 間 で タ ス ク 通 知 が あ っ た 時 刻 を 提 示 し て 、 当 該 時 刻 に お け る 多 忙 度 、 疲 労 度 、 同 行 者 の 有 無 を 表 2 の 2-3～ 2-5 の 質 問 を 行 う こ と で 取 得 し た 。タ ス ク 実 施 率 は こ の 定 期 ア ン ケ ー ト を ベ ー ス に 分 析 す る 。4.4. 評 価 尺 度
状 況 ご と に タ ス ク 実 施 率 、 平 均 受 託 金 額 、 作 業 品 質 を 評 価 し た 。 タ ス ク 実 施 率 の 算 出 に は 定 期 ア ン ケ ー ト の 回 答 を 利 用 し た 。 平 均 受 託 金 額 と 作 業 品 質 に つ い て は 、 タ ス ク を 完 了 し た 場 合 の み の 情 報 か ら 取 得 で き る こ と か ら 、 タ ス ク 内 で 取 得 し た ア ン ケ ー ト の 情 報 を 用 い る 。 タ ス ク の 実 施 率 は 次 の よ う に 定 義 し 、 状 況 ご と に タ ス ク の 実 施 率 を 算 出 す る 。 実 施 率 ＝ 完 了 し た タ ス ク 数 / 通 知 し た タ ス ク 数 平 均 受 託 金 額 は 、 完 了 し た タ ス ク の み を 集 計 対 象 と し 、 状 況 ご と に 受 託 金 額 の 平 均 を 算 出 す る 。 タ ス ク の 金 額 は 30 円 を 中 心 と す る 一 様 分 布 に 設 定 さ れ て お り 、 特 定 の 状 況 下 の 作 業 者 が 安 価 な タ ス ク を 断 る 傾 向 が あ れ ば 、 受 託 し た タ ス ク の 平 均 金 額 は 高 く な る 。 タ ス ク の 作 業 品 質 は 、 意 図 的 に ノ イ ズ が 混 入 さ れ た 動 画 の 検 出 精 度 を 評 価 す る こ と で 、 作 業 者 の 注 意 力 を 評 価 す る 。 評 価 指 標 と し て は 、 Recall, Precision, F measure, Accuracy を 用 い る 。 ノ イ ズ の あ る 動 画 を Positive と し 、 TP (True Positive), TN (True Negative), FP (False Positive), FN (False Negative) を 用 い て 、そ れ ぞ れ 次 の よ う に 定 義 す る 。Recall = TP / (TN + TP)Precision = TP / (FP + TP) F measure = 2 / (1 / Recall + 1 / Precision)
Accuracy = (TP + FN) / (TP + TN + FP + FN) 状 況 実 施 率 (%) 絶 対 /相 対 差 (%) P 値 多 忙 25.7 7.74 / 30.1 .0000*** 非 多 忙 33.4 疲 労 29.7 2.28 / 7.72 .7554 非 疲 労 30.1 同 行 者 あ り 28.2 5.03 / 17.9 .0000*** 同 行 者 な し 33.2 表 3 作 業 者 の 状 況 と タ ス ク 実 施 率 。 多 忙 な 場 合 、 非 多 忙 な 場 合 と 比 較 し て タ ス ク 実 施 率 が 相 対 差 で 30.1%低 下 す る こ と が 確 認 さ れ た (p<.001)。 上 記 の 定 量 評 価 に 加 え て 、 実 験 終 了 後 に 、 実 験 参 加 者 に 対 し て タ ス ク の 実 施 と 状 況 の 関 係 性 に 関 す る ア ン ケ ー ト を 実 施 し 、意 見 を 分 析 し た 。具 体 的 に は 、「 タ ス ク を 受 け に く い の は ど の よ う な 状 況 の 時 か 」、「 タ ス ク に 集 中 し に く い の は ど の よ う な と き か 」、「 安 価 な タ ス ク を 意 図 的 に 受 託 し な か っ た こ と は あ る か 」 と 、 そ れ ぞ れ の 理 由 に つ い て ア ン ケ ー ト を 実 施 し た 。
5. 実 験 結 果
50 名 の 被 験 者 が 実 験 に 参 加 し た 。 被 験 者 は 一 日 27 件 の タ ス ク 通 知 を 受 け 、21 日 間 で 567 件 の タ ス ク 通 知 を 受 け た 。 そ の 中 で 、 3 件 以 上 の タ ス ク を 完 了 し た 被 験 者 47 名 を 分 析 対 象 と し た 。 こ れ ら の 被 験 者 に よ っ て 実 施 さ れ た タ ス ク の 総 件 数 は 3,596 件 で あ っ た 。状 況 ご と の タ ス ク の 実 施 率 、 平 均 受 託 金 額 、 作 業 品 質 に つ い て 報 告 す る 。5.1. タスク実 施 率
始 め に 、 作 業 者 の 状 況 と タ ス ク の 実 施 率 の 関 係 に つ い て 評 価 を す る 。 タ ス ク の 実 施 率 は タ ス ク を 完 了 し た 時 と 完 了 し て い な い 時 の 両 方 の 状 況 を 取 得 す る 必 要 が あ る た め 、 定 期 ア ン ケ ー ト に 基 づ い て 分 析 を 行 っ た 。 定 期 ア ン ケ ー ト の 回 答 率 は 36%で あ っ た 。定 期 ア ン ケ ー ト と タ ス ク 内 の 両 方 で 状 況 が 取 得 で き た 場 合 に つ い て 、 多 忙 度 、 疲 労 度 、 同 行 者 の 有 無 の 一 致 度 を 評 価 す る と 、 い ず れ も 90%以 上 で あ り 、 3 時 間 程 度 で あ れ ば 被 験 者 は 概 ね 状 況 を 記 憶 し て い る こ と が 確 認 で き た 。 表 3 は 状 況 ご と の タ ス ク 実 施 率 と 絶 対 /相 対 差 お よ び カ イ 二 乗 検 定 に よ る 有 意 差 検 定 の p 値 を 表 す 。 作 業 者 が 多 忙 の 場 合 、 非 多 忙 の 場 合 と 比 較 し て 、 タ ス ク 実 施 率 は 絶 対 値 で 7.74%、 相 対 値 で 30.1%低 下 し 、 カ イ 二 乗 検 定 に よ っ て 有 意 な 差 が あ る こ と が 確 認 さ れ た (χ 2(1, N=8213) = 57.8, p < .001, φ = 0.084 )。 疲 労 度 に つ い て は 、 有 意 な 差 は 観 測 さ れ な か っ た 。 同 行 者 が い る 場 合 、 い な い 場 合 と 比 較 し て 、 タ ス ク 実 施 率 は 絶 対 値 で 5.03%、 相 対 値 で 17.9%低 下 し 、 有 意 な 差 が あ る こ と が 確 認 さ れ た (χ 2(1, N=8213) = 22.2, p < .001, φ = 0.052)。こ れ ら の こ と か ら 、多 忙 な 作 業 者 や 同 行 者 の い る 作 業 者 に タ ス ク を 依 頼 し た 場 合 、 タ ス ク が 実 施 さ れ る 確 率 は 大 き く 低 下 す る こ と が 分 か る 。状 況 平 均 受 託 金 額 (円 ) 相 対 差 (%) P 値 多 忙 32.8 5.95 .0050** 非 多 忙 30.9 疲 労 32.2 4.02 .0543 非 疲 労 31.0 同 行 者 あ り 32.8 7.67 .0003*** 同 行 者 な し 30.5 表 4 作 業 者 の 状 況 ご と の 平 均 受 託 金 額 。 同 行 者 が い る 場 合 、 い な い 場 合 と 比 較 し て 平 均 受 託 金 額 が 7.67%上 昇 す る こ と が 確 認 さ れ た (p<.001)。
5.2. 受 託 金 額
次 に 、 作 業 者 の 状 況 と タ ス ク の 受 託 金 額 の 関 係 に つ い て 評 価 す る 。 タ ス ク の 金 額 は 30 円 を 平 均 と す る 10 円 か ら 50 円 の 5 円 刻 み の 一 様 分 布 で あ る た め 、 特 定 の 状 況 に お い て 安 価 な タ ス ク を 断 る と 、 当 該 の 状 況 に お け る 平 均 受 託 金 額 が 高 く な る 。 タ ス ク を 完 了 し た 場 合 の み か ら 分 析 可 能 な た め 、 タ ス ク 内 で 取 得 し た 状 況 を 利 用 し た 。 表 4 に 状 況 と 平 均 受 託 金 額 、 受 託 金 額 の 相 対 差 、 t 検 定 に よ る 有 意 差 検 定 の p 値 を 示 す 。 多 忙 の 場 合 、 非 多 忙 の 場 合 と 比 較 し て 、 平 均 受 託 金 額 は 5.95%増 加 し 、t 検 定 に よ っ て 有 意 に 差 が あ る こ と が 確 認 さ れ た (t(2808) = 2.29, p < .001)。 疲 労 度 が 高 い 場 合 、 低 い 場 合 と 比 較 し て タ ス ク 金 額 が 4.02%増 加 し た が 、p=0.0543 と 有 意 差 が あ る と 判 定 す る に は 至 ら な か っ た 。 平 均 受 託 金 額 に 関 し て は 、 同 行 者 が い る 場 合 と い な い 場 合 の 差 が 最 も 大 き く 、 同 行 者 が い る 場 合 7.67%増 加 し た (t(3561) = 3.43, p < .001)。 こ れ ら の こ と か ら 、 多 忙 な 作 業 者 や 同 行 者 の い る 作 業 者 に タ ス ク を 依 頼 し た 場 合 、 安 価 な タ ス ク は 実 施 さ れ に く く な る こ と が 分 か る 。 実 施 率 と 受 託 金 額 は 共 に 、 多 忙 度 と 同 行 者 に つ い て 有 意 差 を 観 測 し た 。 こ の 結 果 は 、 タ ス ク 金 額 と 実 施 率 に 強 い 関 連 が あ る と す る Mason ら の 研 究 結 果 と も 合 致 す る [8]。5.3. 作 業 品 質
作 業 者 の 状 況 と 作 業 品 質 の 関 係 に つ い て 評 価 す る 。 本 タ ス ク で は 、 作 業 者 は 3 分 の 動 画 を 視 聴 し 、 動 画 の 品 質 に 関 す る ア ン ケ ー ト に 回 答 す る 。 作 業 品 質 を 評 価 す る た め 、 意 図 的 に 品 質 を 劣 化 さ せ た 動 画 の 検 出 精 度 に つ い て 、 Precision, Recall, F 値 , Accuracy を 前 述 の と お り 定 義 し た 。 評 価 結 果 を 表 5 に 示 す 。 想 定 さ れ る タ ス ク の 利 用 用 途 は 、 通 信 品 質 が 悪 い 場 所 を 発 見 し 、 改 善 を 試 み る こ と で あ る た め 、Recall や Precision, F 値 と い っ た 指 標 が 重 視 さ れ る 。 一 方 で 、 こ れ ら は 互 い に ト レ ー ド オ フ の 関 係 に あ る こ と か ら 、 有 意 差 検 定 は Accuracy に 対 し て カ イ 二 乗 検 定 を 用 い て 実 施 し た 。状 況 Prec. Recall F 値 Acc. P 値 多 忙 0.567 0.188 0.282 0.742 .7193 非 多 忙 0.461 0.261 0.333 0.748 疲 労 0.478 0.184 0.265 0.730 .0379* 非 疲 労 0.500 0.287 0.364 0.761 同 行 者 あ り 0.449 0.191 0.268 0.733 .0730 同 行 者 な し 0.529 0.277 0.364 0.759 表 5 タ ス ク の Precision, Recall, F 値 お よ び Accuracy と そ の 有 意 差 。疲 労 し て い る 場 合 、し て い な い 場 合 と 比 較 し て 有 意 に 作 業 品 質 が 低 下 す る こ と が 確 認 さ れ た (p<.005)。 検 出 対 象 の 動 画 が 全 体 の 25%と 少 な い 点 、ま た ノ イ ズ の 発 見 に は 画 面 を 集 中 し て 視 聴 す る 必 要 が あ る こ と か ら 、F 値 は 全 体 的 に 0.2 か ら 0.4 と 低 く 、難 し い タ ス ク で あ っ た と 言 え る 。 状 況 に よ っ て 精 度 に は 差 が 見 ら れ た 。 F 値 を 基 準 に 見 る と 、 多 忙 な 場 合 や 疲 労 し て い る 場 合 、 同 行 者 が い る 場 合 は 、 そ れ ぞ れ 非 多 忙 、 非 疲 労 、 同 行 者 な し の 場 合 と 比 較 し て 、 い ず れ も F 値 は 低 く な っ た 。 疲 労 の 場 合 、 非 疲 労 の 場 合 と 比 較 し て Precision 、 Recall 共 に 低 下 し た 。 こ れ は 、 本 稿 で 仮 説 と し て 設 定 し た よ う に 、 疲 労 時 は 生 産 性 が 低 下 し 、 判 断 を 誤 り や す く な る な ど 、 作 業 に 集 中 で き て い な い こ と が 原 因 と 考 え ら れ る 。 F 値 で 0.364 か ら 0.265 (相 対 値 で 37.4%) と 3 つ の 状 況 の 中 で 最 も 低 下 し 、Accuracy に 対 す る 有 意 差 も 確 認 さ れ た (χ 2(1, N=3596) = 4.31, p < .05, φ = 0.035)。同 行 者 が い る 場 合 も 疲 労 時 と 同 様 に Precision、 Recall が 共 に 低 下 し 、 F 値 も 低 下 し た 。 同 行 者 が い る 場 合 、な る べ く 短 い 時 間 で 作 業 を 実 施 し よ う と し た り 、 同 行 者 に 気 を 取 ら れ て 作 業 に 集 中 で き な い 、 と い っ た こ と が 原 因 と 考 え ら れ る が 、Accuracy に 対 す る カ イ 二 乗 検 定 の p 値 は 0.067 で あ り 、 有 意 な 差 を 示 す に は 至 ら な か っ た 。多 忙 な 場 合 、非 多 忙 な 場 合 と 比 べ て Recall は 低 く 、 Precision が 高 く な る と い う 結 果 が 得 ら れ た 。 こ れ は 作 業 者 が 忙 し い た め に 、 明 確 に ノ イ ズ と 分 か る ケ ー ス の み を 検 出 し 、 動 画 を 細 部 ま で 見 な か っ た こ と が 原 因 と 推 測 さ れ る 。
5.4. 被 験 者 意 見 の分 析
タ ス ク の 実 施 率 と 精 度 に つ い て 、 被 験 者 の 主 観 的 な 意 見 を 収 集 す る た め 、 3 週 間 の 実 験 期 間 終 了 後 に ア ン ケ ー ト を 実 施 し た 。 ア ン ケ ー ト で は 、「 Q1. 3 つ の 状 況 (多 忙 、疲 労 、同 行 者 )の 中 で 最 も タ ス ク を 受 け ら れ な い と 感 じ る の は ど の よ う な と き か 」と「 Q2 3 つ の 状 況 の 中 で 最 も タ ス ク の 内 容 に 集 中 し に く い の は ど の よ う な と き か 」を 選 択 さ せ 、そ れ ぞ れ の 理 由 に つ い て 尋 ね た 。 50 人 の 被 験 者 の う ち 、 42 人 (84%)か ら 回 答 を 得 た 。 表 6 に Q1, Q2 の 回 答 数 と そ の 比 率 を 示 す 。状 況 Q1 回 答 数 (%) Q2 回 答 数 (%) 多 忙 21 (50%) 21 (50%) 疲 労 4 (10%) 4 (10%) 同 行 者 10 (24%) 15 (34%) そ の 他 7 (17%) 2 (5%) 表 6 Q1 タ ス ク を 受 け に く い 、 Q2 タ ス ク に 集 中 し に く い 、 に つ い て 各 状 況 の 回 答 数 と 比 率 。 多 忙 時 と 同 行 者 が い る 時 が 困 難 と い う 回 答 が 多 か っ た 。 表 6 に よ れ ば 、 最 も タ ス ク を 受 け ら れ な い の は 多 忙 時 で あ り 、 二 番 目 は 同 行 者 が い る 時 で あ っ た 。 こ れ は タ ス ク の 受 託 率 が 多 忙 時 に 最 も 低 く 、 同 行 者 が い る 時 が 2 番 目 に 低 い と い う 実 験 結 果 に 合 致 し て い る 。 多 忙 時 に タ ス ク を 受 け ら れ な い 理 由 と し て は 、「 仕 事 中 で 携 帯 端 末 を 開 く こ と が で き な い 」と い う 意 見 が 最 も 多 く 、 「 忙 し く て 3 分 の 時 間 を 作 る の が 難 し い 」 と い っ た 意 見 も あ っ た 。 同 行 者 が い る 時 に タ ス ク を 受 け ら れ な い 理 由 と し て は 、「 相 手 に 失 礼 だ か ら 」と い う 理 由 が 最 も 多 か っ た 。 こ れ は 我 々 が 仮 説 形 成 時 に 参 照 し た Misra ら の 調 査 [6] が モ バ イ ル ク ラ ウ ド ソ ー シ ン グ 上 で も 有 効 で あ る こ と を 示 唆 し て い る 。 最 も タ ス ク に 集 中 し に く い と 回 答 さ れ た の も 同 様 に 多 忙 時 で 、 二 番 目 は 同 行 者 が い る 時 と な っ た 。 実 験 に お い て 実 際 に タ ス ク 精 度 が 最 も 低 下 し た の は 、 疲 労 時 で あ っ た こ と か ら 、 作 業 者 の 感 覚 と 実 際 の 行 動 が 異 な っ た も の と 考 え ら れ る 。 多 忙 を 選 択 し た 理 由 と し て は 、「 忙 し く て 動 画 を 見 続 け る こ と が で き な い 。」 と い っ た 意 見 が 多 か っ た 。同 行 者 を 選 択 し た 理 由 と し て は 、 「 同 行 者 に 気 を 使 っ て 早 く 終 わ ら せ よ う と す る 」 と い っ た 理 由 が 多 く 、 い ず れ も 精 度 の 低 下 に 影 響 を 及 ぼ す と 考 え ら れ る 。 疲 労 を 選 択 し た 作 業 者 の 絶 対 数 は 少 な か っ た が 、「 眠 く て 最 後 ま で 集 中 し て 見 ら れ な い 」と い っ た 意 見 が あ っ た 。 こ れ ら の こ と か ら 、 疲 労 に よ る 作 業 品 質 の 低 下 は 作 業 者 自 身 で は 気 づ き に く い 可 能 性 が 示 唆 さ れ た 。
6. 実 験 結 果 の 議 論 と 今 後 の 課 題
本 稿 に お け る 我 々 の 研 究 課 題 は 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お け る タ ス ク 実 施 率 、 受 託 金 額 、 作 業 品 質 は 作 業 者 の 状 況 に よ っ て 異 な る か ？ と い う も の で あ っ た 。 こ の 研 究 課 題 に 対 し 、 経 済 学 や 心 理 学 の 知 見 か ら 、タ ス ク の 実 施 に 影 響 を 与 え 得 る 3 つ の 状 況 (多 忙 度 、 疲 労 度 、同 行 者 の 有 無 )を 仮 説 と し て 設 定 し た 。こ れ ら の 仮 説 と 実 験 結 果 の 対 応 を 表 7 に ま と め る 。 表 7 か ら 、 本 稿 で 設 定 し た 仮 説 の 多 く が 実 験 に よ っ て 裏 付 け ら れ た と い え る 。 同 行 者 が い る 際 の 作 業 品 質 に つ い て は 、カ イ 二 乗 検 定 の p 値 が 0.067 と 0.05 よ り も わ ず か に 大 き く 、有 意 差 を 確 認 す る に 至 ら な か っ た 。 作 業 者 の 状 況 が タ ス ク の 実 施 率 、 受 託 金 額 、 作 業 品 質 に 与 え た 影 響 に つ い て 、 詳 し く 考 察 を 行 う 。 状 況 条 件 実 施 率 受 託 金 額 作 業 品 質 多 忙 仮 説 低 下 上 昇 - 結 果 低 下 上 昇 n.s. 疲 労 仮 説 - - 低 下 結 果 n.s. n.s. 低 下 同 行 者 仮 説 低 下 上 昇 低 下 結 果 低 下 上 昇 n.s. 表 7 作 業 者 の 状 況 が タ ス ク 実 施 へ 与 え る 影 響 の 仮 説 と 実 験 結 果 の 対 応 。 多 く の 条 件 で 仮 説 は 裏 付 け ら れ た が 、 同 行 者 が い る 時 の 作 業 品 質 に つ い て は 、 仮 説 が 裏 付 け ら れ な か っ た 。 ( - は 仮 説 設 定 な し 、 n.s.は 有 意 差 な し ) タ ス ク の 実 施 率 に つ い て は 、 既 存 の 情 報 通 知 に 関 す る 研 究 で は 、 ユ ー ザ が 通 知 を 閲 覧 す る か ど う か 、 と い う 観 点 で モ バ イ ル 端 末 の ロ グ を 解 析 す る こ と で 、 通 知 に 適 し た タ イ ミ ン グ を 探 す と い っ た 研 究 が 行 わ れ て い る 。 そ の よ う な 目 的 に 対 し て は 、 モ バ イ ル 端 末 上 の ア プ リ の 切 り 替 え の タ イ ミ ン グ な ど 、 瞬 間 的 な 状 況 が 重 要 と な る 。 一 方 、 本 稿 で は モ バ イ ル ク ラ ウ ド ソ ー シ ン グ で 3 分 程 度 の 時 間 を 要 す る タ ス ク を 実 施 さ せ る 場 合 を 想 定 し た 。 被 験 者 の 意 見 に も あ っ た が 、 3 分 の 作 業 を 実 施 す る に は 、 多 忙 時 や 同 行 者 が い る 状 況 で は 、 作 業 を 完 遂 で き な い 可 能 性 が あ る た め 、 実 施 を 躊 躇 す る 傾 向 が あ る こ と が 確 認 さ れ た 。 受 託 金 額 は タ ス ク の 実 施 率 と の 関 係 性 は 強 い と さ れ る [8]よ う に 、実 施 率 に 影 響 す る 多 忙 度 、同 行 者 が 受 託 金 額 に も 影 響 す る こ と が 確 認 さ れ た 。 多 忙 時 は 他 に 実 施 す べ き 事 柄 が あ る た め 、 機 会 費 用 の 考 え 方 に 基 づ い て 、 金 額 が 小 さ い 場 合 は タ ス ク が 実 施 さ れ に く く な る と 考 え ら れ る 。 同 行 者 と の 時 間 も 同 様 に 価 値 の あ る も の と 捉 え て い る と 推 測 さ れ る 。 実 験 後 の ア ン ケ ー ト で 、「 安 価 な タ ス ク を 受 託 し な か っ た こ と が あ る か 」、 と い う 質 問 を 実 施 し た と こ ろ 、Yes: 50%、No: 50%と 意 見 が 別 れ た 。 Yes と 回 答 し た 作 業 者 の 代 表 的 な 意 見 と し て 、 費 用 対 効 果 が 悪 い 、 割 に 合 わ な い と い っ た 意 見 が 多 く 見 ら れ た 。「 忙 し か っ た り す る 中 で も 50 円 な ら 優 先 す る が 、 10 円 だ と 他 を 優 先 す る こ と が あ る た め 」 な ど 、 機 会 費 用 を 明 確 に 意 識 し た 意 見 も 見 ら れ た 。 一 方 で 、No と 回 答 し た 参 加 者 の 意 見 に は 、少 し で も 収 入 に な る た め 、 今 対 応 可 能 か ど う か で 判 断 し た た め 、 と い っ た 意 見 が あ っ た 。 こ れ ら の 意 見 か ら も 、 状 況 が 安 価 な タ ス ク を 受 け る か ど う か に 影 響 す る こ と が 分 か る 。 作 業 品 質 に つ い て は 、 既 存 の 心 理 学 の 研 究 に お い て 、 疲 労 度 が 高 く な る と 、 作 業 の 精 度 が 低 下 す る こ と は 報 告 さ れ て い る [5]が 、自 動 車 の 運 転 の よ う な 同 一 の 作 業 を 繰 り 返 し 継 続 す る こ と に よ る 疲 労 が 対 象 と さ れ て い た 。 一 方 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 タ ス ク を 作 業 者 に 通 知 す る よ う な 環 境 に お い て 、 タ ス クと は 異 な る 要 因 で 蓄 積 さ れ た 疲 労 が 作 業 品 質 に 影 響 を 与 え る と い う 知 見 は 、 我 々 の 知 る 限 り 報 告 さ れ て い な い 。 本 研 究 で 得 ら れ た 知 見 の 活 用 方 法 に つ い て 検 討 す る 。 実 験 結 果 か ら 、 作 業 者 の 状 況 は タ ス ク の 実 施 率 、 受 託 金 額 、作 業 品 質 に 影 響 を 与 え る こ と が 確 認 で き た 。 実 験 で は 、 作 業 者 の 状 況 を ア ン ケ ー ト に よ っ て 取 得 し た が 、 実 際 に モ バ イ ル ク ラ ウ ド ソ ー シ ン グ で 利 用 す る た め に は 、作 業 者 の 状 況 を 取 得 す る 手 段 が 必 要 と な る 。 セ ン サ デ バ イ ス や 端 末 の 通 信 状 況 か ら ユ ー ザ の 多 忙 度 や 疲 労 度 、 同 行 者 を 推 定 す る こ と も 可 能 と 考 え ら れ る が 、 現 状 で は 精 度 面 で の 課 題 も あ る 。 我 々 は 、 定 期 ア ン ケ ー ト で 取 得 し た 作 業 者 の 多 忙 度 、 疲 労 度 、 同 行 者 を 集 計 し た 。 図 1 に 平 日 お よ び 休 日 、 時 間 帯 ご と の 、 多 忙 、 疲 労 、 同 行 者 あ り 、 に 該 当 す る 作 業 者 の 割 合 を そ れ ぞ れ 示 す 。 図 1 に よ れ ば 、 平 日 、 休 日 共 に 午 前 中 の 方 が 多 忙 や 疲 労 の 状 況 に あ る 作 業 者 が 少 な く 、同 行 者 が い る 作 業 者 の 割 合 も 低 い こ と か ら 、 タ ス ク を 依 頼 す る の に 適 し た 状 況 に あ る と い え る 。 平 日 の 昼 間 は 同 行 者 が い る 割 合 が 多 く な る が 、 休 日 の 昼 間 は 比 較 的 少 な い 、 と い っ た 傾 向 も 見 ら れ た 。 図 1 は 本 実 験 に 参 加 し た 被 験 者 全 体 の 傾 向 を ま と め た も の で あ る が 、 勤 務 の 曜 日 や 出 勤 時 間 な ど の 生 活 パ タ ー ン は 人 ご と に 異 な る 。 作 業 者 ご と の 行 動 ロ グ を 分 析 す る こ と で 、 現 在 時 刻 に タ ス ク の 実 施 に 適 し た 状 況 に あ る と 推 測 さ れ る 人 に 対 し て タ ス ク の 通 知 を 行 う こ と で 、 タ ス ク の 実 施 率 、 受 託 金 額 、 作 業 品 質 を 高 め ら れ る 可 能 性 が あ る 。 実 際 に 図 1 の 下 段 に タ ス ク の 受 託 金 額 を 示 し て お り 、 作 業 者 の 状 況 と 相 関 が あ る よ う に 見 え る 。 平 日 の 多 忙 な 作 業 者 の 割 合 と 受 託 金 額 の 相 関 係 数 は 0.58 、 休 日 の 多 忙 な 作 業 者 の 割 合 と 受 託 金 額 の 相 関 係 数 は 0.50 と や や 相 関 が あ る こ と が 分 か る 。 最 後 に 、 本 研 究 の 制 約 に つ い て 述 べ る 。 本 稿 に お け る タ ス ク の 一 般 性 に 関 し て 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ に お い て 、 通 信 品 質 調 査 を 行 う タ ス ク は 一 般 的 で あ り [24], [25]、 通 信 品 質 の 調 査 に ス ト リ ー ミ ン グ を 用 い る こ と も よ く 知 ら れ て い る [26]。一 方 、詳 細 な タ ス ク 設 計 は 議 論 の 余 地 が あ る と 考 え る 。 本 稿 で は 、 タ ス ク の 所 要 時 間 を 3 分 に 設 定 し た が 、 こ れ は 短 時 間 で 完 了 す る タ ス ク の 場 合 、 金 額 に か か わ ら ず 作 業 者 が タ ス ク を 実 施 し て し ま う 可 能 性 が あ っ た た め で あ る 。 モ バ イ ル 端 末 の 通 知 を 確 認 し 、 タ ス ク の 金 額 を 確 認 す る ま で に 実 時 間 で 数 秒 か ら 十 秒 程 度 を 要 す る 。 現 在 の 作 業 を 止 め る た め の ス イ ッ チ ン グ コ ス ト も 大 き い た め 、 タ ス ク 自 体 が 1 分 で あ っ て も 、 切 り 替 え 等 に 要 す る 時 間 が 埋 没 コ ス ト (sunk cost)と し て 計 算 さ れ 、タ ス ク 金 額 に か か わ ら ず 、 実 施 し た ほ う が 良 い と い う 判 断 に 至 る 可 能 性 が あ っ た 。 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ で は 、 現 地 調 査 の よ う な 、物 理 的 な 移 動 を 伴 う タ ス ク も 存 在 す る 。こ れ ら は 、 作 業 者 の よ り 詳 細 な 状 況 （ 屋 内 に い る か ど う か な ど ） に 依 存 す る た め 、本 稿 で は 問 題 を 簡 潔 に す る 観 点 か ら 、 そ の 場 で 実 施 可 能 な タ ス ク を 用 い た 。 移 動 を 伴 う タ ス ク も モ バ イ ル ク ラ ウ ド ソ ー シ ン グ の 主 要 な タ ス ク の 1 つ で あ る た め 、 こ れ ら に 影 響 を 与 え る 作 業 者 の 状 況 に つ い て の 評 価 は 今 後 の 課 題 と 考 え て い る 。 ま た 、 本 稿 で は 、 タ ス ク が 1 種 類 し か な い 場 合 に つ い て 、 評 価 を 実 施 し た 。 実 際 の モ バ イ ル ク ラ ウ ド ソ ー シ ン グ で は 、 複 数 の タ ス ク が 同 時 に 募 集 さ れ て い る 可 能 性 が あ り 、 そ の よ う な 場 合 に 、 作 業 者 の 状 況 が タ ス ク 選 択 に ど の よ う な 影 響 を 与 え る か の 評 価 は 、 今 後 の 課 題 と 考 え る 。
7. ま と め
本 稿 で は 、 多 忙 度 、 疲 労 度 、 同 行 者 の 有 無 と い っ た 作 業 者 の 状 況 が タ ス ク の 実 施 率 、受 託 金 額 、作 業 品 質 、 と い っ た モ バ イ ル ク ラ ウ ド ソ ー シ ン グ の 性 能 に 与 え る 影 響 に つ い て 調 査 を 行 っ た 。作 業 者 の 状 況 に つ い て は 、 経 済 学 や 心 理 学 の 知 見 を 用 い て 、 タ ス ク の 実 施 に 影 響 を 与 え 得 る 要 因 を 仮 説 と し て 設 定 し た 。 設 定 し た 仮 説 を 検 証 す る た め 、50 人 の 被 験 者 に よ り 、モ バ イ ル ク ラ ウ ド ソ ー シ ン グ 上 で 通 信 品 質 の 調 査 タ ス ク を 実 施 し た 。 3 週 間 の 実 験 の 結 果 、 作 業 者 が 多 忙 な 場 合 、 タ ス ク の 実 施 率 は 相 対 値 で 30.1%低 下 、 同 行 者 が い る 場 合 、 タ ス ク の 受 託 金 額 が 7.67%上 昇 、 疲 労 し て い る 場 合 、 タ ス ク の 精 度 が F 値 の 相 対 値 で 37.4%低 下 す る こ と が 確 認 さ れ た 。 被 験 者 に 対 す る ア ン ケ ー ト に お い て も 、 多 忙 時 や 同 行 者 が い る 場 合 は 、 タ ス ク を 受 け に く い と い う 意 見 が 得 ら れ た 。 実 店 舗 で の 調 査 や 特 定 の 場 所 に 関 す る 調 査 と い っ た モ バ イ ル ク ラ ウ ド ソ ー シ ン グ は 今 後 さ ら に 普 及 す る こ と が 予 想 さ れ 、 な る べ く 多 く の タ ス ク を 高 品 質 に 実 施 す る ニ ー ズ は 大 き い と い え る 。本 稿 の 調 査 に よ っ て 、 休 日 / 平 日 や 時 間 帯 に よ っ て 作 業 者 の 状 況 に 傾 向 が あ る こ と も 確 認 で き た 。 こ れ ら の 傾 向 の 活 用 や 作 業 者 の 行 動 ロ グ を 解 析 す る こ と に よ っ て 、 よ り 多 く の タ ス ク を 高 品 質 に 実 施 さ せ る こ と が 可 能 と な る と 考 え ら れ る 。 本 稿 で は 一 例 と し て 日 時 や 時 間 に よ っ て 状 況 が 異 な る こ と を 示 し た 。 将 来 的 に は 、 セ ン サ 技 術 や 端 末 ロ グ か ら の 状 況 取 得 の 研 究 が 進 め ば 、 そ れ ら で 取 得 し た 状 況 を 利 用 し て 、 モ バ イ ル ク ラ ウ ド ソ ー シ ン グ の 効 率 を 高 め る こ と が 期 待 さ れ る 。 今 後 の 課 題 と し て 、 移 動 を 伴 う よ う な モ バ イ ル タ ス ク に 本 稿 の 知 見 を 適 用 す る に あ た っ て 、 影 響 を 与 え る 要 因 の 調 査 や 、 複 数 の タ ス ク が 受 託 で き る 場 合 に 、 作 業 者 の 状 況 が タ ス ク の 選 択 に ど の よ う な 影 響 を 及 ぼ す か の 評 価 を 予 定 し て い る 。図 1 平 日 お よ び 休 日 の 時 間 帯 ご と の 作 業 者 の 状 況 （ 多 忙 、 疲 労 、 同 行 者 あ り の 作 業 者 割 合 ）（ 上 側 ） と タ ス ク の 受 託 金 額 （ 下 側 ）。 時 間 帯 に よ っ て 作 業 者 の 状 況 や 受 託 金 額 に 傾 向 が み ら れ る 。
参 考 文 献
[1] Alt, F., Shirazi, A., Schmidt, A., Kramer, U. and Nawaz, Z. Location-based crowdsourcing: extending crowdsourcing to the real world. In Proc. NordiCHI 2010, 13-22.
[2] Vaataja, H., Vainio, T., Sirkkunen, E. and Salo, K. Crowdsourced news reporting: supporting news content creation with mobile phones. In Proc. MobileHCI, 2011, 435 -444.
[3] Gigwalk, http://www.gigwalk.com/
[4] Roberts, R. Getting the most out of life: The concept of opportunity cost. The Library of Economics and Liberty, 5, 2007.
[5] Boksem, M. A., Meijman, T. F. and Loris t, M. M. Mental fatigue, motivation and action monitoring. Biological psychology, 72, 2, 2006, 123 -132.
[6] Misra, S., Cheng, L., Genevie, J. and Yuan, M. The iPhone effect: the quality of in -person social interactions in the presence of mobile devices. Environment and Behavior, 48, 2, 2016, 275 -298. [7] Antin, J. and Shaw, A. Social desirability bias in
reports of motivation for US and India workers on Mechanical Turk. In Proc. CSCW, 2011.
[8] Mason, W. and Watts, D. J. Financial incentives and the "performance of cro wds". In Proc. HCOMP, 2009, 77-85.
[9] Beenen, G., Ling, K., Wang, X., Chang, K., Frankowski, D., Resnick, P. and Kraut, R. Using social psychology to motivate contributions to online communities. In Proc. CSCW, 2004, 212 -221. [10] Law, E., Yin, M., Joslin Goh, K. C., Terry, M. and
Gajos, K. Z. Curiosity killed the cat, but makes crowdwork better. In Proc. CHI, 2016.
[11] Shaw, A. D., Horton, J. J. and Chen, D. L. Designing incentives for inexpert human raters. In Proc. CSCW 2011, 275-284.
[12] Yu, L., André, P., Kittur, A. and Kraut, R. A. Comparison of social, learning, and financial strategies on crowd engagement and output quality. In Proc. CSCW 2014, 967 -978.
[13] Le, J., Edmonds, A., Hester, V. and Biewald, L. Ensuring quality in crowdsourced search relevance evaluation: The effects of training question distribution. In Proc. CSE, 2010, 21 -26.
[14] Liu, Y., Lehdonvirta, V., Alexandrova, T. and Nakajima, T. Drawing on Mobile Crowds via Social
Media. Case UbiAsk: Image Based Mobile Social Search Across Languages. Multimedia Systems, 18, 1, 2012, 53-56.
[15] Gupta, A., Thies, W., Cutrell, E. and Balakrishnan, R. mClerk: enabling mobile crowdsourcing in developing regions. In Proc. CHI, 2012, 1843 -1852. [16] Okoshi, T., Ramos, J., Nozaki, H., Nakazawa, J., Dey,
A. K. and Tokuda, H. Attelia: Reducing user's cognitive load due to interruptive notifications on smart phones. In Proc. PerCom, 2015, 96-104. [17] Czerwinski, M., Cutrell, E. and Horvitz, E. Instant
messaging: Effects of relevance and timing. In Proc. HCI, 2000, 71-76.
[18] Iqbal, S. T. and Horvitz, E. Notifications and awareness: A field study of alert usage and preferences. In Proc. CSCW, 2010, 27 -30.
[19] Musthag, M. and Ganesan, D. Labor dynamics in a mobile microtask market. In Proc. CHI, 2013, 641 -650.
[20] Goldman, A. and Johansson, J. K. Determinant s of search for lower prices: An empirical assessment of the economics of information theory. Journal of Consumer Research, 5, 3, 1978, 176 -186.
[21] Johnson, M. B. Travel time and the price of leisure. Economic Inquiry, 4, 2. 1966, 135 -145.
[22] Campagne, A., Pebayle, T. and Muzet, A. Correlation between driving errors and vigilance level: influence of the driver’s age. Physiology and Behavior, 80, 2004, 515-524.
[23] Hembrooke, H., and Geri G. The laptop and the lecture: The effects of multitasking in learning environments. Journal of computing in higher education, 15, 1, 2003, 46 -64.
[24] Faggiani, A., Gregori, E., Lenzini, L., Luconi, V. and Vecchio, A. Smartphone-based crowdsourcing for network monitoring: Opportunities, challenges, and a case study. IEEE Communications Ma gazine, 52, 1, 2014, 106-113.
[25] Kaup, F., Jomrich, F. and Hausheer, D. Demonstration of NetworkCoverage–A Mobile Network Performance Measurement App. In Proc NetSys, 2015.
[26] Hoßfeld, T., Seufert, M., Hirth, M., Zinner, T., Tran -Gia, P. and Schatz, R. Quantific ation of YouTube QoE via crowdsourcing. In Multimedia, In Proc. ISM, 2011, 494-499.
