The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 1 -
ウ
ソ
ン
現状
課題
清水伸幸
Nobuyuki Shimizu株式会社
Yahoo! JAPAN
研究所
Yahoo! JAPAN Research, Yahoo Japan Corp.
不 特 定 多 数 人 々 貢 献 を募 ，必 要 ビ ， ，コン ン を生 行 ウ ソ ン 呼 ，近
年，様々 分 注目を集 い ．本講演 ，2006年 Jeff Howe 提唱 ウ ソ ン いうコ
ン セ 実 施 例 そ 課 題 ， カ 様 々 取 組 ， ，昨 年 タ ウ ソ ン ビ 取 組 い 紹 い ．
1.
じめに
近 年 ， ン タ ネ を 通 ，不 特 定 多 数 人 々 一 定 タ を成 遂 ウ ソ ン 呼 ビ 利 用 急速 拡大 い ．計算機科学分 い ，人間 知 的 活 動 を 計 算 機 補 佐 ， 特 米 国 い 画 像 注釈付 や Web コン ン 分類 教師 タ 収 集 や ， 自 動 要 約 ， 機 械 翻 訳 自 然 言 語 処 理 評 価
ウ ソ ン 利用 始 い ．
ウ ソ ン 中 ， 特 タ 呼 細 分 化 タ を行 うタ ビ ，Yahoo! ウ ソ
ン を ビ ォ ，日本
手 軽 利 用 う ， 多 人 間 知 見 を 集 約 可能 ． ，大学 一研究室 ，数日 人 以 を 動 員 タ 付 タ を 行 う
可 能 い ．人 工 知 能 分 ， ウ ソ ン 得 大 訓練 タを用い ， 成果 生
い 期待 い ．
2.
ラウ
ソーシン
課題
う ， 新 い 認 識 あ ウ ソ ン ， 従 来 う 専 門 家 タ 依 を 行 う 異 ，品質 高い成果物を得 従来 異 タ
設定手法 必要 あ わ ． 従来 異 一 ，手軽 報酬を得 を目的 低 品 質 成 果 物 を納 不 誠 実 や ，設 問 説 明 文 を理解 い い 一部 在 い
． う い 影 響 を 最 限 え ， 成 果 物 品 質 を 管 理 ， タ を 複 数 依 多数決を取 ，成果物を統計的 統合 ，質 高 い 成 果 物 を 獲 得 や 方 使 わ (Dawid and Skene
1979, Whitehill et al 2009)． ， 問題 知
タ 中 を行う手法 在 ．
従 来 異 目 ， タ 意 図 を 正 確 伝 え ，タ 表現 注意を払う必要 あ ．例え ，固有
詞抽出 技術を評価 ，抽出 あ 単語 X い ， ウ ソ ン X 飲食店 前 ？ ，
聞い ．単純 質問 う ， ォ 運営 経験 ，結果 少 以 解釈 混
わ ．
，店 在 有無 わ ，文 列 飲食店 い う 判断 い， いう解釈，
次 ， 検 索 ， 店 現 実 開 店 い を 確 認 答えを出 ， いう解釈，
そ 最 後 ， あ 店 知 度 調 査 解 釈 ，店 前 を 以 前 聞 い あ い 返 答 良 い ， いう解釈 ．
う ， 一 見 単 純 そ う 質 問 ， タ 依 者 意 図 タ を 行 う 解 釈 分 態 繁 起
． 不 誠 実 在 を 疑 ， 実 解 釈 起 因 問 題 い 不 幸 誤 解 起 え ． うい タ 設定 難 ，企業 い 新人研修 効果的 を作 い セ 類似 ，
ウ ソ ン 隠 入コ 言え ．
ウ ソ ン 利 用 課 題 を ほ 述 ， 解 決 ，人 人 物 を セ を 計 算 機 科 学 支 援 必 要 ． う 得 タ 、 人 間 コ
ン を 人 工 知 能 あ 新 い 知 見 得 ．前 人 未 到 分 ，新 人 工 知 能
ン 生 う．
3.
ラウ
ソーシン
利用
ベス
プラ
ティス
タ 型 ウ ソ ン を 利 用 皆 様 ，注意 を挙 ．
1 実 タ 利 用 方 法 想 像 や い 質 問
方 を う ． タ 製 作 者 思
解釈や誤解 減 場合 多 あ ．
2 設問 説明 具体的 例を入 ， 回答
あ ， 検 索 必 要 検 索 ン を 貼 う ． 作業 具体的 あ あ ほ 解釈 揺 減 ．
3 自 由 記 述 コ ン 欄 を ， 判 断 迷 う 際
う 迷 を 得 ， 次 ン タ 改善 う．
連絡先：清水伸幸， u @y
The 28th Annual Conference of the Japanese Society for Artificial Intelligence, 2014
- 2 -
4 新 い タ を ウ ソ ン 入 稿 際 ， 規
模 タ を 行 い ， 何 度 試 行 錯 誤 を 大規模 タを投入 良い成果 得 ．
5 質 問 を 組 合 わ 一 答 え を 求 等 ， 認 知
言 語 学 的 処 理 難 い 聞 方 を 避 う ． 例 ： 以 内容 飲食店 い ？ ， 店 行 い 思い ？ い いいえ ．
参考文献
Dawid, A. P. and Skene, A. M. (1979) “Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm”, Journal of the Royal Statistical Society. Series C (Applied Statics), Vol. 28, No. 1, pp. 20–28
