第 4 章 ワーカーのフィルタリングによる 精度向上手法の提案精度向上手法の提案
4.2 事前フィルタリング
ポイント業者からワーカーを募集する際に行うフィルタリングである.ポイント業者は 数百万人の会員を有しており,これらのすべての会員をワーカーとして扱うのはコスト的 に現実的ではなく処理能力的にも過剰である.また,これらの会員にはICTの素養が低い,
Webにおける継続的な作業を望んでいない,などのPCSSに不適である会員も多く存在し ており,このような明らかに高品質なワーカーになりえないワーカー候補を排除するため に事前のアンケートを用いてフィルタリングを実施している(表4.1).これらの質問によ り,実際にクラウドソーシング作業を行うことのできる時間(Q1,Q2,Q4),ベースとな るモチベーションの度合い(Q3),基礎学力(Q5),タスクに応じたスキルの予測(Q6),
基本的なITスキル(Q7,Q8)などを測定することができる.また,特に「Q6:学生時代
4.2. 事前フィルタリング 41 に最も得意だった科目はなんですか?」の問では,音声処理系のタスクを中心に処理させ たいワーカーの場合は「音楽」を,自然言語処理系のタスクをさせたい場合は「国語」を,
POIなどの地理情報を処理させたい場合は「社会」を選択したワーカーを優先させるなど,
状況やリクエスタのニーズに応じて採用基準を変更している.また,アクセント付けなど の難易度の高いタスクでは,対象となるタスクを処理できるワーカーに特化して募集する ために表4.1の問い合わせ内容に追加して,対象となるタスクの出題内容を一部出題する ことでフィルタリングを行う場合もある(図4.2)(図4.3).
ランダム抽出した作業者 (300人)
回答がばらばら 正解率54.1%
正解率95.3%
100点だった作業者
(22人)
作業者候補(2万人) ランダム抽出
高難易度の 試験問題で
抽出
図 4.2: 事前フィルタリング
図 4.3: アクセント能力者を優先させるためのテスト例
42 第4章 ワーカーのフィルタリングによる精度向上手法の提案 表 4.1: 事前フィルタリングによるベースフィルタリング
Q1:あなたは現在,週に何時間くらい 仕事をしていますか?
1.0時間(仕事をしていない)
2.週に1〜10時間未満 3.週に10〜20時間未満 4.週に20〜30時間未満 5.週に30〜40時間未満 6.週に40時間以上
Q2:あなたは週に何時間くらい 内職や副業をしても良いと思いますか?
1.0時間(内職や副業はしない)
2.週に1〜10時間未満 3.週に10〜20時間未満 4.週に20〜30時間未満 5.週に30〜40時間未満 6.週に40時間以上 Q3:あなたが内職や副業をするにあたって,
最低欲しい時給はいくらですか?
1. 400円未満
2. 400円〜500円未満 3. 500円〜600円未満 4. 600円〜700円未満 5. 700円〜800円未満 6. 800円〜900円未満 7. 900円〜1000円未満 8. 1000円以上
Q4:簡単な内職に興味はありますか?
1.とても興味がある 2.やや興味がある 3.どちらでもない 4.あまり興味がない 5.まったく興味がない
Q5:あなたの最終学歴を教えて下さい
1. 中学卒 2. 高校卒 3. 専門大学卒 4. 短大卒 5. 大学卒
6. 大学院(修士)卒 7. 大学院(博士)卒
8. 上記以外
Q6:学生時代に最も得意だった 科目はなんですか?
1. 数学 2. 国語
表は次ページに続く