223
人 工 知 能 31 巻 2 号（2016 年 3 月）
アイザック・ニュートンがロバート・フックに宛てた書 簡の一文にある「If I have seen further, it is by standing on the shoulders of Giants.」は，科学の発展が先人らの 仕事の積み重ねから得られていることを表した喩えと考 えられている．この一文が Google scholar にも添えられ るように，研究は先人の貢献の上にあり，その上に一片と なるよう論文を積み重ねる努力が求められている．だが， どの分野にでも「巨人」が「目に見える形で」いるのだろう か．そして，その肩から見える「景色」には，距離がわか る目印があるだろうか？ という疑問がある．特に人工知能 分野では，ワールドレコードを出せばよいとか，新しい物 質を発見・生成すればよいというような，比較尺度が明示 的な分野は少ない．そのため，「巨人の肩に立って眺める」 には，研究における「ベンチマーク」こそが，対象とする 研究分野における「巨人」の姿を誰にでも見えるものして， そこから見える「景色（ロードマップ）」の道程を明らか にするための尺度を与えるものだと考え，特集を企画した． 本特集では，人工知能研究におけるベンチマークとは どのようなもので，どのように設計・運営されているの かを俯瞰することで，専門分野以外での研究の発展の比 較を行っているのかを知るきっかけとすると同時に，新 たなベンチマークを設計する際の知見を得るきっかけと なることを期待して 7 編の記事を執筆いただいた．ベン チマークと一言でいっても，多岐にわたる人工知能では， その対象がデータセット・問題・評価手法と重要なポイ ントが分野ごとによって変わる．そこで，評価手法が重 要な分野の一つとして HAI を野村氏に，問題の設定が 重要なエージェントを杉浦氏・藤田氏らに，データセッ トに比重が高い機会学習を馬場氏に，ベンチマークの設 計と現状を解説していただいた．さらに，これらベンチ マークの活用の基盤となるデータ提供を行う NII の大山 氏らに，そしてオープンサイエンスの視点からのベンチ マークのメリットに関して NISTEP の小柴氏らに記事 を執筆していただいた． 野村氏（龍谷大学）には，人間を含めたシステムの検 証を必要とする HAI 分野における主観評価の現状を解 説いただいた．近年の脳波計測やウェアラブル計測機器 の充実化に伴い比較的客観的なデータ計測が可能となり つつあるが，人間の内面の影響が含まれる結果の評価が 求められる同分野における評価法の共有と妥当性の検証 の重要性が説かれている． 杉浦氏（NICT）には，長年継続されてきた競技会であ るロボカップの一部門であるロボカップ @ ホームにおけ る課題の設計と運営に関する知見をまとめていただいた． @ホーム部門は，他のサッカーやレスキューと比べると， 日常的空間を対象としているため課題の設計の自由度が 高く運営の難しさがうかがわれるが，ほかの部門の知見 なども生かされた運営と設計がなされているのがわかる． 藤田氏（東京農工大学）らには，自動交渉エージェン トの国際的競技会である ANAC を対象とした，課題設 計とその評価についてこれまでの歴史とともに解説して いただいた．本大会は，国際会議の併設ワークショップ を母体として企画・実施された競技会であり，競技会と 国際ワークショップとが密接に連携して研究を進めてい る事例である． 馬場氏（京都大学）には，機械学習コンペティション のこれまでの発展と今後の展開として，データマイニン グ分野の国際会議で盛んに行われている競技会などのプ ラットホームとなっている Kaggle と機械学習の進展に 与える影響を解説していただいた．氏らは，教育用途の 競技会プラットホームとしてビックデータ大学を提供す るなど，競技形式の活用も進めている． 大山氏（NII）らには，データセットを提供する組織 の一つとして，情報学研究データリポジトリ（IDR）の 現状と，公的機関である NII が研究資源を公開・共有す る意義について解説いただいた．現在，IDR では主に NTCIRと民間企業によるデータが公開されており，オー プンサイエンスの展開，研究者間でのデータ共有や評価 型ワークショップへの活用への期待がうかがえる． 小柴氏（NISTEP）らには，オープンサイエンスの現 状と展開と，学会や研究者によるオープン（ガバメント） データの活用や参画の意義を解説していただいた．国際 ロボット競技大会が発表されるなど，政府による科学技 術コンテストへの積極的な姿勢もあり，ただのイベント ではなく，人材の継続的な育成手段などとして有効に活 用することが求められている． 最後に，関根氏（NY 大学）には，氏のこれまでの自然言 語分野における評価型ワークショップと NextNLP でのエ ラー分析ワークショップの経験を通じて得られた，ベン チマークが研究の発展・進捗に与えるメリット・デメリッ トを解説していただいた．本稿は，新たな競技会やコンテ スト型ワークショップの企画を検討している会員にとっ て，研究ロードマップの設計など方向性の設計に有益な 示唆が多数含まれているのでぜひ読んでいただきたい．
