1．は じ め に
近年，ICT の発達に伴ってリアルタイムに大量のデー タが入手可能になってきたことから，そこから知識を抽 出，あるいは構成し，それをビジネスに活用するための いわゆるビッグデータ解析の技術が注目されている．こ の技術には，大きな潜在的効果が秘められている一方で， 実際のビジネスは，データ化された情報のみに基づいて 展開されているわけではない．まだデータ化の難しい， 非定型で暗黙的な知識にも依存しており，むしろそうし たデータ化困難な知識のほうが助けになる，あるいはそ れに頼らざるを得ない局面も多い．センシングの幅が広 がり，リアルタイム性がさらに向上し，合わせてデータ 解析の技術が高度化すると，そうした暗黙的と思われて いた知識もデータ解析によって解明可能になるという主 張もあり得るが，少なくとも現時点では，センシングと データ解析では把握困難な，暗黙的な知識は人々の頭の 中にまぎれもなく存在している．そして，そうした暗黙 的かつ属人的な知識は，単発のヒアリングやアンケート 調査で簡単に抽出しきれるものではなく，現状ではビジ ネスに十分に活用されているとは言い難い． 本稿では，集合知メカニズムという概念を切り口とし て，そうした知識を企業内外の多くの関係者から効果的 に収集し，利用可能な形に仕立て上げるための今日的な 仕組みについて考えてみたい．集合知メカニズムとは， 後述の予測市場を一般化した概念であり，著者らが運営 してきた「予測市場と集合知活用に関する研究会（その 後，集合知メカニズム研究会に改称）」の中で山口 [山口 10]が導入した言葉である．現時点では，「複数の知的主 体（人やエージェント）の間のインタラクションを通じ て，それらの主体間に分散している情報や認知能力を統 合し，何らかの知識や，全体としての知的な振舞いを生 み出す仕組み」と定義している．これは，インタラクショ ンの前提となる情報環境，インタラクションを規定する ルール，インタラクションを方向付けるインセンティブ 構造などを基底として，知識処理を伴う組織的な（ある いは不特定多数の）活動を捉えるための一つの切り口で あるといえる．2．予測市場と集合知メカニズム
予測市場とは，図 1 に示すように，予測したい物事 の未来の状態に応じて事後的に価値が定まる仮想の証券 （予測証券）を発行し，それを複数の参加者に仮想の市 場で自由に売買してもらう，一種の先物市場（賭け市場） であり，その過程で現れてくる予測証券の価格推移に基 づいて，予測対象の未来の状態に関する，動的な予測が 得られるという仕組みになっている [Chen 10, 水山 14]． 現在，学術目的で一般に公開されている代表的なものと して，アイオワ大学の [IEM]，ジョージメイソン大学の [SciCast]などがあげられる． 架空の簡単な例として，この夏の日本の最高気温を予 測したいとしよう．この場合，例えば，最高気温に比例 した事後配当が得られる予測証券を発行し，それを不特 定多数の人々に売買してもらう市場を開設すればよい． ただし，実際には，実通貨による予測市場の開設は法制 上難しいので，最高気温が 40℃だったら 40 ポイント得 られるようなゲームとして運営することになる．このと き，仮にある時点での予測証券の価格が 38 ポイントだっ たとすると，この夏は猛暑になると予想している人に とっては「買い」となり，逆に，冷夏を予想している人 にとっては「売り」となり，そうした売買注文の綱引き の結果，予測証券の価格（最高気温の予測値）は，多く集合知メカニズムとそのビジネスへの応用
Collective Intelligence Mechanisms and Their Applications in Business
水山 元
青山学院大学Hajime Mizuyama Aoyama Gakuin University. [email protected]
Keywords:
collective intelligence, crowdsourcing, human computation, prediction markets. 「ビジネスが創発する人工知能と人工社会」の参加者にとってある程度納得感のある値に収れんして いくことになる．なお，夏が過ぎ，秋になると最高気温 の実現値は判明するため，この例では，予測証券の価値 は事後的には明確になる． この例を，気象の専門家らに対するアンケート調査 やヒアリングによって最高気温を予測することと比較し て，予測市場の特徴を整理してみよう．どちらの方法も， 複数の人々の主観的な予想に基づいて予測を行うアプ ローチであるという点では同じである．では，どこに違 いがあるのか．ここでは，著者が本質的と考える三つの 違いを指摘したい． まず 1 点目は，予測市場には，各参加者に自分の主観 的な予想を正直に表明するように促すインセンティブが 組み込まれていることである．例えば，上述の例で，こ の夏は猛暑で，最高気温が 40℃を超えるのはほぼ確実 であると予想している人にとって，予測証券の価格が 38ポイントであれば，正直に買い注文を出すことが利 益獲得の期待につながる．逆に，売り注文を出す場合に は，1 枚当たり 2 ポイント以上の損失を覚悟しなければ ならない． 2点目は，予測市場には，各参加者に予想の根拠とな る知識の想起を促す刺激が組み込まれていることであ る．人は，自分の所持している知識のすべてに常に自覚 的であるわけではなく，アンケート調査やヒアリングで 問われた際に，関連する知識を偏りなく想起できるとは 限らない．これに対して予測市場では，各参加者に動的 にフィードバックされる予測証券の価格推移などの情報 が刺激となり，関連する知識の想起が促されると期待さ れる． 3点目は，予測市場には，多くの参加者から集めた知 識を一つの予測値にまとめ上げる機能が組み込まれてい ることである．アンケート調査やヒアリングで集めた予 測値を一つにまとめ上げる際に，単純な算術平均を用い たのでは，根拠の強い予測値も弱い予測値も同等に扱わ れてしまう．予測市場では，自分の予想に自信のある参 加者は大きく賭け，自信のない参加者は小さく賭ける傾 向があるため，自信の多寡で重み付けられた平均が自然 と出力されることになる． これら三つの違いは，アンケート調査やヒアリングよ りも予測市場のほうが優れているという主張の裏付けと してではなく，多くの人々から知識や知的貢献を集めよ うとする際に，そのための仕組みを， ● 参加者に正直かつ積極的に貢献してもらうためのイ ンセンティブ ● 参加者に知識の想起，学習，創造などを促す動的な フィードバック ● 多くの参加者のミクロな貢献を一つのマクロな成果 物にまとめ上げる方法 の三つの観点から捉えることの有用性を示唆するものとし て理解したい．そしてそうした捉え方こそが集合知メカニ ズムという言葉で表現したいフレームワークなのである． アンケート調査やヒアリングを集合知メカニズムの 観点から捉え直してみると，報酬の決め方を工夫するこ とによって正直申告を促すような調査方法に発展させる というアイディアが自然に浮かんでくる．例えば，コン ジョイント分析における Ding の工夫などはその一例と して位置付けられるだろう [Ding 07]．また，よく知ら れた Delphi 法は，アンケート調査に動的なフィードバッ クを組み合わせたものとして捉えることができる [Rowe 91, Rowe 99]． 予測市場も集合知メカニズムとして発展を続けている [Chen 10,水山 14]．図 2 は，その過程を簡単に示した ものである．（狭義の）予測市場とは，上述の最高気温 の例のように，事後的に結果（正解）のわかる予測問題 に対して，市場メカニズムを適用するものである．イン タラクションの形態は，当初はダブルオークションが主 体であったが，最近では，セントラルマーケットメーカ と呼ばれるエージェントによってとり仕切られることが 多く，そこでは，複数の人とエージェントの協働によっ て，予測という新たな知識が生み出されている． これを一般化して，市場メカニズムを予測タスク以外 の問題に適用しようとするのが，広義の予測市場である． そこでは，いくつかの選択肢に対する主観的な評価や選 好を集約すること（評価タスク）が狙いとなる．一方， 予測市場は，狭義，広義ともに，参加者間のインタラク ションが比較的複雑になるため，いわゆるメカニズムデ ザインの枠組みの中に収めてしまうことは難しい．これ に対して，インタラクションを単純化することによって， メカニズムデザインの枠組みの中で，予測タスクや評価 タスクのためのメカニズムを設計しようという試みも増 えてきている．これが情報集約メカニズムである． さらに，インターネット越しに不特定多数の人々か ら知識や知的貢献を集める仕組みは，予測市場やその発 展形に限られるわけではなく，他のヒューマンコンピュ テーションの形態も集合知メカニズムの一種として理解 することができる [鹿島 14, Law 11]．例えば，ごく短 時間で処理できる（人間にとって）簡単な認知タスクを 不特定多数の人々に向けて発注することができるマイク ロタスク市場は，固定額の報酬でミクロな知的貢献を集 める，集合知メカニズムの一形態として位置付けること ができる．この仕組みでは，各参加者へのフィードバッ クや知的貢献の集約方法は，求められる最終的な成果物 の性質に応じて設計し，つくり込むことになる．一方， GWAP（Game With A Purpose）は，ゲームをプレイ
する楽しさをインセンティブとして利用した集合知メカ ニズムであるといえる [von Ahn 06]．例えば，GWAP の初期の成功例としてよく知られている ESP ゲーム [von Ahn 04]では，同じ画像を提示された二人のプレー ヤが同一のキーワードを入力した際に得点が得られる Output-agreementという仕組みが用いられている．そ して，それによって収集されたキーワードは，当該画像 の検索タグとして利用されることになる． このように，インターネットに代表される ICT の発 達は，これまでにないさまざまな新しい形態の集合知メ カニズムを出現させており，それらのビジネスへの応用 も始まっている．以下では，こうした今日的な集合知メ カニズムのビジネスへの応用について見ていこう．
3．集合知メカニズムのビジネスへの応用
3･1 ビジネスにおける意思決定とその支援 一般に，ビジネスとは，さまざまな意思決定を繰り返 すことによって進められていくものである．技術開発課 題の選定，工場や店舗の新設などの戦略的な意思決定か ら，製品・サービスの詳細設計，日々の作業のスケジュー ル作成といった業務的な意思決定まで，相互に関連した 多くの意思決定が次々と下されていく．ここで，それら を抽象化して，ビジネスの意思決定とは何らかの評価尺 度に照らして選択肢の集合（解空間）の中から一つの解 を選び取る行為であると考えると，それに関わる変数は 図 3 のように整理できる． 図 3 では，解空間の要素（選択肢）を決定変数ベクト ル x で表現し，それによる多面的な影響を評価尺度ベク トル y で表している．また，選択肢による影響は，一般 には，環境条件にも左右される．それをベクトルzで表す． 例えば，架空の新設工場の立地問題を考えると，決定変 数 x は候補地，環境条件 z はその地域の交通の便，従業 員の確保しやすさなど，評価尺度 y は工場の建設費やラ ンニングコストなどとなる．また，このとき，解空間は 候補地 x の集合，評価モデルは関係式 y＝f（x, z）である． ビジネスの意思決定をこのような模式図で捉えると， その質は， ● 想定する選択肢の集合（解空間） ● 各選択肢が評価尺度に与える影響についての理解 （評価モデル） ● 解空間の中から評価モデルに基づいて解を探索する 手続き（解法） の三つに左右されることがわかる．集合知メカニズムは， これらのうち，特に，一つ目の解空間を拡張することや， 二つ目の評価モデルを充実させることに役立てられる可 能性が高い＊ 1．すなわち，意思決定者が，環境条件 z や 関係式 f（ ）に関する十分な知識をもち合わせていない， あるいは，決定変数 x の有力な候補を想定できていない 場合に，それらを集合知メカニズムを用いて補完するこ とができれば，この意思決定の質を向上させることがで きる．これが本稿で考える集合知メカニズムのビジネス への応用である． このように，集合知メカニズムによる意思決定の支 援は，評価モデルの充実化と解空間の拡張の軸で捉え ることができる．この軸にさらに，集合知メカニズム の機能を Static な知識・情報の収集と見るのか，それ とも Dynamic な知識処理能力の統合と見るのかの軸を 組み合わせると，図 4 の 4 象限モデルが得られる [水山 10b]．以下では，このモデルの象限別に，具体的な応用 事例を紹介していこう． 3･2 集 合 評 価 図 4 の左下の領域は，Static な知識・情報を収集して， 評価モデルの充実化を支援する「集合評価」の機能に対 応している．一般的な，Web アンケートによる製品・サー ビスの評価や，Delphi 法を用いた技術動向の調査など， この範疇に入る事例は数多いが，ここでは，比較的新し い事例として，予測市場とその発展形の応用を中心に紹 介する． 予測市場の初期のビジネスへの応用事例として，プ ロジェクトのリードタイム予測 [Ortner 97, Ortner 98]， 製品の販売量予測 [Chen 02, Ho 07] などがよく知られて いる．これらの事例では，リードタイム予測ならば時間 を，販売量予測ならば量を，それぞれ横軸にとって，そ れをいくつかの区間（予測区間）に分割している．そして， 分割されたそれぞれの予測区間に対応させた Winner-図 3 意思決定の模式Winner-図 図 4 意思決定支援の 4 象限モデル ＊1 集合知メカニズムを，三つ目の解法そのものとして活用する 試みも見られるが [Cooper 10, Meloso 09, 水山 12]，本稿では考 慮の対象外とする．Take-All（WTA）型の予測証券を発行し，それらを社内 の関係者らに，匿名で，市場取引してもらう．ここに， WTA型の予測証券とは，リードタイムや販売量の実現 値が，対応する予測区間に含まれた場合，その場合に限 り，予測証券 1 枚ごとに所定額の事後配当が与えられる ものである．結果として，予測区間ごとに予測証券の価 格が定まり，それらを棒グラフ化すると，ヒストグラム 形式でリードタイムや販売量の予測分布が得られること になる． こうした応用事例に関連する技術的な工夫としては， 予測区間を事前に運営者が決めてしまうのではなく，参 加者がそれぞれ自由に定められるようにする方法 [水山 08, Othman 13,多ヶ谷 10] や，予測市場を運用していく 過程で適応的に変更していく方法 [Mizuyama 10] など が提案されている．予測市場の需要予測への応用研究に ついては，拙稿 [水山 10a] にもまとめられているので， 必要に応じて参照してほしい．また，最近では，SNS 上に予測市場を開設し，新製品の需要予測に応用した事 例も報告されている [Matzler 13]． 最近は，図 2 の中の狭義の予測市場に該当する仕組み を，プロジェクトのリードタイム，製品の販売量，その他， ビジネスにおけるさまざまな KPI の予測に応用するこ とはある程度一般化してきており，応用研究の事例とし てことさら報告されることは少なくなってきている．こ れに代わって，近年活発化してきているのが，図 2 の中 の広義の予測市場の応用研究である． 例えば，Chen ら [Chen 09] は，技術シーズの将来性 を評価するために広義の予測市場を応用している．この 応用事例の目的は，開発プロジェクトへの追加投資，あ るいはその停止や売却といった意思決定の参考情報を得 ることである．事例企業では，専門家パネルによって別 途評価した結果（事例企業における従来法の結果）と，広 義の予測市場によって得られた結果とが整合的であったた め，今後も継続して活用される可能性があるそうである．
また，Dahan ら [Dahan 10, Dahan 11] は，類似の試 みとして，新商品のコンセプトや，新商品に付与する属 性の魅力度の評価に広義の予測市場を適用している．こ のように，広義の予測市場を新商品コンセプトの評価に 用いようとする場合，新商品のコンセプトは属性の組合 せという性質をもつため，膨大な組合せ空間上の評価分 布を効率的に取得する工夫が必要となる．これに対して， 著者ら [Imai 14, Mizuyama 12] は，図 5 に示すように， コンジョイント分析における部分効用モデルを援用する ことによって，比較的少数のコンセプト間の比較のみか ら，全組合せに対する評価値を導出可能なアプローチを 提案している．この試みは，コンジョイント分析におけ る選好評価や選択実験を広義の予測市場で置き換えたも のとして捉えることもできる．また，これに類似の試み として，選好評価や選択実験を Output-agreement の仕 組みを用いた GWAP に置き換えることも興味深い． 3･3 アイディア収集 二つ目の，図 4 の左上の領域は，Static な知識・情報 を収集して，解空間の拡張を支援する「アイディア収集」 の機能に対応している．これは，企業内外の関係者から， 完成したアイディアを集めてくるものであり，コンペ ティション型のクラウドソーシング [櫻井 14] や Q&A サ イトなどはこの範疇に入りそうである．ここでも，以下 では，予測市場に関連のある応用事例を中心に紹介する． アイディア収集に予測市場を応用する場合，まず，候 補となるアイディア一つ一つに対応した予測証券を発行 し，それらの事後価値を何らかの指標に関連付けたうえ で，関係者に売買してもらうという形態をとる．このと き，事前に用意したアイディアの評価に終始するだけで は，広義の予測市場による単なる「集合評価」でしかな い．そのため，参加者自身が新しいアイディアを提案で き，それを新しい予測証券として予測市場に上場させる ことができる仕組みにする [Bothos 09]． 一例として，LaComb ら [LaComb 07] による GE 社 での応用事例を見ていこう．これは，技術開発課題に関 するアイディアを収集するために実践された事例であ り，なるべく多くの社員を巻き込んで，多くのアイディ アを見いだし，それらの中から最も有望なアイディアを 選定することが目的であった．アイディアの評価尺度 は，その開発課題が利益に与えるインパクトの大きさ， GE社の活動ドメインに適した先端技術を活用したもの かどうか，3 年以内にインパクトが得られるかどうか， 成長に寄与するかどうか，などであり，事前に参加者の 間で共有されている．事前に運用者が用意した 5 個のア イディアからスタートして，参加者が随時アイディアを 追加していく．その際，すでに提案されているアイディ アと重複していると判断されるアイディアのみスクリー ニングされる．各アイディアに対応する予測証券の事後 配当は，市場閉鎖前 5 日間の VWAP（出来高加重平均 価格）で定められるとともに，1 位に選ばれたアイディ アの提案者には，実際にその開発課題に取り組むために $50,000の資金が与えられたそうである．結果として， 予測市場が開設されていた 3 週間の間に，合計 62 個の 新しいアイディアが収集された．この結果は，従来に試 したことのある他の方法（ブレインストーミングや提案 図 5 広義の予測市場とコンジョイント分析の組合せ
制度など）よりも多くのアイディアが集まり，それらの 質も従来法と同等かそれ以上であった，という経営陣の 評価につながった． また，Soukhoroukova ら [Soukhoroukova 12] は，広 義の予測市場に基づく同様の仕組みを新商品のアイディ ア収集に用いている． 3･4 集 合 推 論 続いて，図 4 の右下の領域は，多くの人々の Dynamic な知識処理能力を統合して，評価モデルの充実化を支援 する「集合推論」の機能に対応している．これは，予測 や評価の根拠情報を関係者から収集し，構造化していく ものであり，オンラインのディスカッションフォーラム などがその一例であるといえる． 上述の GE 社の事例で，開発課題のアイディアに対す る評価の根拠などのコメントを blog で共有する仕組み が併設されていたが，これは単純ながらも，予測市場に 関連した集合推論の試みの一つとして捉えることができ る．ただし，正直なコメントを積極的に表出化させるため のインセンティブや，コメントされた根拠を構造化してい く仕組みなどは未整備であり，今後の課題となっている． 著者ら [Mizuyama 14] も類似の試みを始めている． これは，B2B ビジネスの営業部隊が抱えている営業案件 それぞれについて，その案件が実際に受注できるかどう かを営業員同士で予測し合う予測市場をコアにした，営 業員間の知識共有の仕組みである．各営業員は，個々の 営業案件の成否に関する予測証券を売買する際に，その 成否判断の根拠をコメント欄に記入する，または既存の 根拠のいずれかに対する賛同ボタンを押下する，のいず れかを行う必要がある．これによって，成否判断の根拠 が収集され，かつ賛同数に応じてそれらが順序づけられ ていくという仕組みである． 一方，宮下ら [Miyashita 14] では，GWAP における Output-agreementの仕組みを用いて根拠情報を収集す ることを試みている．これは，複数の選択肢の中からあ る商品を選んだという購買シナリオを提示し，その選択 の理由を入力してもらうゲームであり，二人のプレーヤ の入力がマッチした際に得点が得られる仕組みになって いる．また，得られたデータから対象商品群の知覚マッ プを描画する方法も合わせて提案されている．購買シナ リオの主人公のペルソナやシーンを複数用意しておくこ とによって，それらで層別した分析も可能である． 3･5 アイディア共創 最後に，図 4 の右上の領域は，多くの人々の Dynamic な知識処理能力を統合して，解空間の拡張を支援する「ア イディア共創」の機能に対応している．これは，アイディ ア（知識資産）を生み出すという生産活動を集合知メカ ニズムに基づくバーチャルな分業や協働で実現しようと するものであり，いわばインターネット上にバーチャル 知識工場をつくろうという挑戦的な試みである．もし， 成果物として期待される知識資産が，要素を足し算的に 組み合わせて得られる性質のものであれば，その生産工 程を細かく分割したうえで，その一つ一つをマイクロタ スク市場に発注するような形式で成果物を生み出す仕組 みが構築できそうである．そうした試みの例としては， 文書の翻訳 [Lin 09] や要約 [Bernstein 10, Mizuyama
13]のシステムがあげられる． しかしながら，現実のアイディア生産の多くは足し算 的な組合せとしては捉えきれないものである．そうした 一般的なアイディア生産の課題に対して集合知メカニズ ムを適用した試みの一つとして，小野 [小野 14] のアイ ディアエボリューションは興味深い．これは，基本的に は，消費者調査の一環として，課題を提示し，それに対 するアイディアを回答してもらうシステムである．一つ の課題に対する回答が三つのフェーズに分割されている ところに特徴がある．第 1 フェーズでは，課題に対する 自分のアイディアを入力する．第 2 フェーズでは，他者 の回答が一つ提示され，それを評価することが求められ る．第 3 フェーズでは，他者のアイディアを知ったうえ で，再度アイディアを入力することができる．これによっ て単に多くのアイディアとそれらに対する評価値を収集で きるだけではなく，どのアイディアが参考になってどのア イディアが生まれたのか，すなわちアイディアが進化して いく様子をネットワーク形式で把握できるようになる．
4．ま と め
本稿では，企業内外の多くの関係者から知識や知的 貢献を集める仕組みを集合知メカニズムと呼び，近年の ICTの発達に伴ってさまざまな新しい形態の集合知メカ ニズムが登場してきていることを指摘したうえで，予測 市場やその発展形を中心に，集合知メカニズムのビジネ スへの応用事例を紹介した．集合知メカニズムの理論的 な側面も興味深い話題であるが，本稿では深入りできな かった．理論面に関心のある読者にとっては，Chen ら の解説 [Chen 10] や拙稿 [水山 14] が入口を提供してく れるだろう．予測市場のビジネスへの応用は，我が国で はまだあまり見られないものの，欧米では一般的になっ て久しい．一方で，GWAP やマイクロタスク市場のビ ジネスへの応用はまだ始まりつつある段階であり，これ から興味深い応用事例が数多く出てくるのではないかと 予想している．本稿が，この分野の理論研究や応用研究 の活発化に少しでも寄与できればうれしく思う．◇ 参 考 文 献 ◇
[Bernstein 10] Bernstein, M. S., Little, G., Miller, R. C., Hartmann, B., Ackerman, M. S., Karger, D. R., Crowell, D. and Panovich, K.: Soylent: A word processor with a crowd inside,
Technology, pp. 313-322（2010）
[Bothos 09] Bothos, E., Apostolou, D. and Mentzas, G.: IDEM: A prediction market for idea management, Lecture Notes in
Business Information Processing, Vol. 22, pp. 1-13（2009） [Chen 02] Chen, K. Y. and Plott, C. R.: Information aggregation
mechanisms: Concept, design and implementation for a sales forecasting problem, California Institute of Technology Social
Science Working Paper #1131（2002）
[Chen 09] Chen, L., Goes, P., Marsden, J. R. and Zhang, Z.: Design and use of preference markets for evaluation of early stage technologies, J. Management Information Systems, Vol. 26, pp. 45-70（2009）
[Chen 10] Chen, Y. and Pennock, D. M.: Designing markets for prediction, AI Magazine, Vol. 31, pp. 42-52（2010）
[Cooper 10] Cooper, S., Khatib, F., Treuille, A., Barbero, J., Lee, J., Beenen, M., Leaver-Fay, A., Baker, D., Popovic, Z. and Players, F.: Predicting protein structures with a multiplayer online game, Nature, Vol. 466, pp. 756-760（2010）
[Dahan 10] Dahan, E., Soukhoroukova, A. and Spann, M.: New Product Development 2.0: Preference markets─ How scalable securities markets identify winning product concepts and attributes, J. Product Innovation Management, Vol. 27, pp. 937-954（2010）
[Dahan 11] Dahan, E., Kim, A. J., Lo, A. W., Poggio, T. and Chan, N.: Securities trading of concepts（STOC），J. Marketing
Research, Vol. 48, pp. 497-517（2011）
[Ding 07] Ding, M.: An incentive-aligned mechanism for conjoint analysis, J. Marketing Research, Vol. 44, pp. 214-223（2007） [Ho 07] Ho, T. H. and Chen, K. Y.: New product blockbusters:
the magic and science of prediction markets, California
Management Review, Vol. 50, pp. 144-158（2007） [IEM] http://tippie.uiowa.edu/iem/
[Imai 14] Imai, M. and Mizuyma, H.: Product concept evaluation system applying preference market, 2nd AAAI Conference on
Human Computation and Crowdsourcing: HCOMP 2014（2014） [鹿島 14] 鹿島久嗣，馬場雪乃：ヒューマンコンピュテーション概説，
人工知能，Vol. 29, No. 1, pp. 4-11（2014）
[LaComb 07] LaComb, C. A., Barnett, J. A. and Pan, Q.: The imagination market, Information Systems Frontiers, Vol. 9, pp. 245-256（2007）
[Law 11] Law, E., von Ahn, L.: Human Computation, Morgan & Claypool Publishers（2011）
[Lin 09] Lin, D., Murakami, Y., Ishida, T., Murakami, Y. and Tanaka, M.: Composing human and machine translation services: Language grid for improving localization processes,
Proc. 7th Int. Conf. on Language Resources and Evaluation, pp.
500-506（2009）
[Matzler 13] Matzler, K., Grabher, C., Huber, J. and Fuller, J.: Predicting new product success with prediction markets in online communities, R&D Management, Vol. 43, pp. 420-432（2013） [Meloso 09] Meloso, D., Copic, J. and Bossaerts, P.: Promoting
intellectual discovery: Patents versus markets, Science, Vol. 323, pp. 1335-1339（2009）
[Miyashita 14] Miyashita, E., Nonaka, T. and Mizuyama, H.: A GWAP approach for collecting qualitative product attributes and perceptual mapping, 2nd AAAI Conf. on Human
Computation and Crowdsourcing: HCOMP 2014（2014） [水山 08] 水山 元，鎌田瑛介 ：予測市場システムに基づく衆知集約
型需要予測法の研究，日本経営工学会論文誌，Vol. 59, pp. 330-341（2008）
[Mizuyama 10] Mizuyama, H. and Maeda, Y.: Prediction market system using SIPS and generalized LMSR for collective-knowledge-based demand forecasting, Proc. 40th Int. Conf. on
Computers and Industrial Engineering（2010）
[水山 10a] 水山 元：集合知に基づく予測ツールとしての予測市場 技術とその需要予測への応用，オペレーションズ・リサーチ， Vol. 55, pp. 215-220（2010）
[水山 10b] 水山 元 : 予測市場による経営の意思決定支援に向けて， 経営システム，Vol. 20, pp. 243-248（2010）
[Mizuyama 12] Mizuyama, H.: A knowledge-driven approach using prediction markets for planning and marketing of a
new product, Proc. 4th World Conference on Production and
Operations Management（2012）
[水山 12] 水山 元：完全な記述が困難な最短経路問題への予測市場 を用いた集合知援用の解法アプローチ，人工知能学会論文誌， Vol. 27, pp. 328-337（2012）
[Mizuyama 13] Mizuyama, H., Yamashita, K., Hitomi, K. and Anse, M.: A prototype crowdsourcing approach for document summarization service, Advances in Production Management
Systems: Sustainable Production and Service Supply Chain:
PartⅡ，pp. 435-442, Springer（2013）
[Mizuyama 14] Mizuyama, H. and Yamamiya, K.: A prototype prediction market game for enhancing knowledge sharing among salespeople, The Shift from Teaching to Learning:
Individual, Collective and Organizational Learning through Gaming Simulation, pp. 287-295, W. Bertelsmann Verlag
（wbv）（2014） [水山 14] 水山 元：予測市場とその周辺，人工知能，Vol. 29, No. 1, pp. 34-40（2014） [小野 14] 小野 滋：リサーチという経験のデザイン，ビッグデータ の使い方・活かし方 ―マーケティングにおける活用事例，pp. 45-66, 東京図書（2014）
[Ortner 97] Ortner, G.: Forecasting markets─ An industrial application, PartⅠ, A Working Paper in Dept. of Managerial
Economics and Industrial Organization at TU Vienna（1997） [Ortner 98] Ortner, G.: Forecasting markets─ An industrial
application, PartⅡ, A Working Paper in Dept. of Managerial
Economics and Industrial Organization at TU Vienna（1998） [Othman 13] Othman, A. and Sandholm, T.: The Gates Hillman
Prediction Market, Review of Economic Design, Vol. 17, pp. 95-128（2013）
[Rowe 91] Rowe, G., Wright, G. and Bolger, F.: Delphi: A reevaluation of research and theory, Technological Forecasting
and Social Change, Vol. 39, pp. 235-251（1991）
[Rowe 99] Rowe, G. and Wright, G.: The delphi technique as a forecasting tool: Issues and analysis, Int. J. Forecasting, Vol. 15, pp. 353-375（1999）
[櫻井 14] 櫻井祐子，松原繁夫：ヒューマンコンピュテーションの ためのメカニズムデザイン，人工知能，Vol. 29, No. 1, pp. 19-26 （2014）
[SciCast] http://scicast.org/
[Soukhoroukova 12] Soukhoroukova, A., Spann, M. and Skiera, B.: Sourcing, filtering, and evaluating new product ideas: An empirical exploration of the performance of idea markets, J.
Product Innovation Management, Vol. 29, No. 1, pp. 100-112
（2012）
[多ヶ谷 10] 多ヶ谷有，淺田克暢：新商品需要予測のための予測市 場システム，経営システム，Vol. 20, pp. 274-278（2010） [von Ahn 04] von Ahn, L. and Dabbish, L.: Labeling images with
a computer game, Proc. ACM SIGCHI Conf. on Human Factors
in Computing Systems, pp. 319-326（2004）
[von Ahn 06] von Ahn, L.: Game with a purpose, Computer, Vol. 39, pp. 92-94（2006） [山口 10] 山口 浩：予測市場と集合知メカニズムの現状と展望 :「神 の手」と「衆愚」の間，経営システム，Vol. 20, pp. 234-238（2010） 2015年 4 月 30 日 受理
