動的フィルタリング

44 第4章 ワーカーのフィルタリングによる精度向上手法の提案 た．そして3人が一致したケースに対して，作業結果から1000件をランダムで抽出，シス テム管理者側で手動で正解を作成して，正解率をチェックしたところ95.3%と非常に高い 正解率を得ることが出来た．そのため，一般的なタスクの出題方法として，3人一致した ケースのみデータとして採用し，残りのデータは不採用，もしくは再度クラウドソーシン グに出題するというパターンを一般的に用いている．

図 4.4: 多数決タスクの例

正解率が一定値以下になることでタスク処理ができなくなることはワーカーに明言して あり，ワーカーはこの数値表示によって精度に対する注意を喚起される．これらの数値は作 業者の行動によって変化するという点でゲームメカニクスにおける得点制度と同等に考え ることができる．得点制度はゲームメカニクスとしては一般的であり，利用者のモチベー ションを向上させるための手法として用いられている[Ahn 08]．

また，同様に，「正解数- 不正解数」で算出される経験値を設定し，一定の経験値を持つ

4.3. 動的フィルタリング 45 ワーカーに対して高報酬，高難易度のタスクを提供している．難易度の基準はリクエスタ によって異なるが，多数決による正解判定を行なうタスクで結果が分散してしまう，タス クの完了まで時間がかかるなどのケースでは難易度が高いと判定される場合が多い．これ らの数値は図4.5のように作業中に画面に常に表示している．

図 4.5: ワーカーに表示されるステータス画面

現時点ではインターフェイス上の制限から，ワーカーが確認することが出来るのはすべ てのタスクの全体平均正解率のみである．しかし，動的フィルタリングをこの全体平均正 解率のみで行うとフィルタリング効果が低いことがわかっている．我々は表4.2のように カテゴリごとに正解率をワーカーに明示せず別途管理している．本研究では8章で事例と して紹介した自然言語処理に関する「単語判定カテゴリ」「読み付けカテゴリ」「品詞カテ ゴリ」「アクセントカテゴリ」に関して述べる．表4.2を見ると正解率が低いカテゴリの作 業総数が非常に少なく，正解率が高いカテゴリの作業総数が多いケースが散見される．こ れにより正解率が下がるような難易度の高いタスクをワーカーが避ける傾向があることが わかる．しかし，全体正解率のみで判断を行った場合，「賃金が高く難易度も高いタスクA」

46 第4章 ワーカーのフィルタリングによる精度向上手法の提案 と「賃金が低く難易度も低いタスクB」があった場合，ワーカーはタスクAを処理し，全体 平均正解率が下がるとタスクBを行なって全体平均正解率を回復させるという行動をとる ことがあった．これは該当するカテゴリの正解率が低いにもかかわらず大量に作業を処理 しており，かつ全体正解率は高いというワーカーの存在から判明した．これらのワーカー を低品質ワーカーと呼称し表4.3に数と割合（低品質ワーカー数/ワーカー数）を示す．こ のような低品質ワーカーの行動に対応するため特定カテゴリにおける作業総数が50以上に なったワーカーをアクティブワーカーとし，特定のカテゴリにおけるアクティブワーカー の精度が一定値以下になった場合は，そのカテゴリに属するタスクを隠し，処理をさせな いようにすることでワーカーの行動コントロールを行っている．PCSSでは該当カテゴリ のタスクにおける精度が60%以下になったワーカーはその作業をさせないという対応をし ている．これは70%以下のワーカーを排除対象とすると悪意の無いワーカーを多く排除し てしまい，50%以下のワーカーを対象とすると，悪意のあるワーカーを排除しきれなかっ たというシステム運用上の経験からの数値である．

表 4.2: タスク別ワーカー結果精度（一部）