第 2 章 関連研究
2.5 クラウドソーシングや教育に機械学習を用いた研究
督フレームワーク,カンニングなどを防ぐ手法に関する研究[Li 15],MOOCSのインスト ラクター側の問題意識に関する研究[Zheng 16],MOOCSの実際のエンプロイアビリティ
(企業が雇用候補者を雇用する際に雇用候補者が持っている雇用に値する能力)に対する 効果に関する研究[Dillahunt 16]などがある.また,クラウドソーシングシステムを学習補 助環境として用い,タスクを学習項目として新たなスキルを学習させる手法に関する研究 [Glassman 16]などもある.
クラウドソーシングワーカーを学習者とみなした場合,このような協調学習支援環境を 用いてクラウドソーシングワーカーの教育を行うことは有効であることが予想される.し かし,クラウドソーシングのタスク内容は多岐に渡り,数多くのリクエスタがタスクの作 成を行っている.それら全てのタスクのテーマに沿った協調学習支援環境の開発をシステ ム管理者側で開発するのはコスト面で現実的ではない.また,リクエスタ側が協調学習支 援環境を作成すると仮定した場合も,リクエスタに負荷をかけることはリクエスタがクラ ウドソーシングに期待するコストの低さ,速度の速さと言った利点を損なってしまうなど の問題が存在する.そのため,クラウドソーシングシステムに協調学習支援環境を用いる ためには,リクエスタにもシステム管理者にも負荷が少ない手法のさらなる研究が必要と 考える.
2.5 クラウドソーシングや教育に機械学習を用いた研究
前節でICTを教育に用いた関連研究を紹介したが,近年教育に機械学習的な手法を用い た研究も注目されている.クラウドソーシングに限らず,教育に機械学習的な手法を用い た研究として,
1-1 様々な教育の要素が生徒にどのように影響するかを推測する研究 1-2 生徒の状態から要因を推定する研究
1-3 生徒を分類して最適な教育プランを検討する研究 などがある.
1-1)に関連する研究として,生徒に対して実施したテストや手法がどのような効果があ るかを推測する研究[Xenos 04],生徒の学習スタイルが最終的にどのように成果に影響し
18 第2章 関連研究 ているかを推測する研究[Garcia 07],複数の教育手法が生徒にどのような影響があるかを 推測し,図示する研究[Fernandez 11]がある.
1-2)に関連する研究として,生徒の状況から社会的経済指標を計算する研究[May 06],生 徒の家庭環境や収入から生徒の生活背景がどのようなものかを推測する研究[Hoogerheide 12]
がある.
1-3)に関連する研究として生徒をスキル別にグループ分けする研究[Pardos 10, Almond 09]
がある.
我々の研究はワーカーを生徒とみなした場合,どのような要因が生徒の能力向上に影響 するかを推測する研究であるため1-2)のグループに属している.
また,クラウドソーシングに機械学習的な手法を用いた研究として,
2-1 ワーカーを処理結果を解析することで分類する研究
2-2 一つの作業を複数のワーカーに処理させる過程で結果のマージを行う研究
2-3 一つの作業を複数のワーカーに処理させて得られた結果をグループ分けする研究 2-4 得られた結果から出題タスクの難易度や品質を推測する研究
などがある.
2-1)に関連する研究として,ワーカーを精度に応じてグループ分けする研究[Wauthier 11, Venanzi 15, Nushi 15, Shaw 11],作業結果の精度に応じてワーカーの精度を判定し,排除 するべきワーカーを判定する研究[Wais 11],作業結果の精度に応じてワーカーのスコアリ ングやランキング付けを行う研究[Shaw 11, Raykar 14, Burnap 13],作業結果の精度に応 じてワーカーの最適な報酬を推測するための研究[Xie 15]がある.
2-2)に関する研究として,一つのタスクに対して複数のワーカーから得られた結果から マージされた最適な答えを取得することを目的とした研究[Carpenter 11, Tang 11, Sun 12,
Kamar 12],得られた文章やツイートにおける一致率を計算し,それに応じて結果をマー
ジする研究[Simpson 15], SNSやテキストなどへのラベリングデータをマージする研究 [Simpson 15]がある.
2.5. クラウドソーシングや教育に機械学習を用いた研究 19 2-3)に関する研究として,一つのタスクに対して複数のワーカーから得られた結果を複 数のグループに分類する研究[Bragg 14, Tang 11, Hutton 12]がある.
2-4)に関する研究として,回答したワーカーのスキル,正解率などからタスクの難易度 をモデル化する研究[Bachrach 12],ワーカーの正解率とワーカーのエラーレートからタス クの難易度をモデル化する研究[Lin 12]などがある.
このようにワーカーの分類や結果の解析でクラウドソーシングの精度を向上させる研究 は行われているが,我々のようにワーカーの行動履歴をベイジアンネットワークなどの機 械学習的なアプローチで解析することでワーカーの品質を向上させる研究は行われていな い.これは低品質なワーカーは排除することが一般的であることが原因であると考えられ る.しかし,前述のように将来的にクラウドソーシングが就労形態として一般的になるこ とを考えた場合,安易な排除は問題になることが予想される.そのため,ワーカーの学習 に基づく精度改善による労働環境改善は重要である.
21