エンタテインメント研究発表の評価とそのシステム運用

全文

(1)Vol.2017-EC-45 No.3 2017/8/21. 情報処理学会研究報告 IPSJ SIG Technical Report. エンタテインメント研究発表の評価とそのシステム運用山本豪志朗1,a). 概要：本稿では，情報処理学会 EC 研究会で行われているエンタテインメント研究発表の評価およびその運用システムにおいて改善の可能性のある点について報告する．研究発表を評価する場合，発表の場で行う採点と集計後に発表論文を参照して評価する投票の二つの段階を設けている．しかしながら，投票を行うには複数の論文を評価するなどの負荷がかかるうえに，投票者個人への明確な見返りはない．そのため，投票段階で低い投票数とならざるを得ないことは否めない．義務感・強制的・責任感などの点で負荷をかけることでより厳密な評価を実行できる可能性もあるが，EC 研究会の性質を考慮し，エンタテインメント性のある評価方法を見出すことが望ましい．本発表を通した議論によって，今後のエンタテインメント研究発表の評価およびその運用システムに還元したい．. 1. はじめに. 究賞（候補者）を一年間を通して行われた研究発表の中から選出する際の支援である．以降，利便上，SIGEC 学生. 投票行動は社会的ジレンマの一つとして扱われるだけで. 発表賞を S 賞，山下記念研究賞を Y 賞と記載する．採点過. なく，環境や文化などの要素からも影響を受けることから. 程に関しては重複するところもあるが，以下ではそれぞれ. 投票率を容易には高められない．投票を行うには，「互恵. 別々に採点・投票の流れについて説明する．なお，図 1 に. 性」「社会規範」「正義感」など様々な形が考えられるが，. 現採点・投票システムの全体像を示す．. 所属する社会や組織において自らへの見返り・報酬がなければ，行動を起こすという合理性は低下してしまう．著者は，情報処理学会 EC 研究会に所属し，内 2 年間，. 2.1 S 賞の採点・投票の流れ S 賞は，1 月から 12 月までの一年間に開催される 3 回の. 表彰の業務を担当した．表彰業務は，一年を通して学生発. 研究会を対象とし，それらの研究会で行われた学生筆頭か. 表賞および山下記念研究賞（候補者）を選出するために，. つ学生自身の研究発表の中から優秀なものを選出して授与. 各研究会及びシンポジウムでの採点および委員による投票. する．選出の評価には，採点と投票の二段階の過程を経る. を滞りなく進めていくものである．しかしながら，その採. 必要がある．. 点・投票においても一般的な投票行動と同様に，高い積極性や高い投票率を求めるのは難しい現状がある．研究会を維持・向上させていくために各会員の奉仕は必. 採点評価では，採点者 2 名（座長と採点者）によって研究発表そのものを評価する．3 回の研究会を通してその評点の高い発表を選び出し，投票の候補者とする．この際，. 須ではあるが，自らへの見返りは明確とはいえないことか. 研究会毎に評価指標が異なる可能性を加味し，点数のばら. ら負担を強いる図式になっているのは否めない．ジレンマ. つきは選出時に考慮する．. が存在することから，結局のところ組織として利がある形. 投票は，原則研究会会員に権利があり，上記の選出され. を求めると，順番に採点者としての義務性を導入すること. た候補者に対して行われる．研究会会員によっては，研究. が実用的であるが，EC 研究会の性質上，エンタテインメ. 会に参加していなかった場合は研究発表を聞くことができ. ント性でこの問題を解きたい．本報告では，現状の運用方. ないことから，投票時は発表論文を基に評価してもらうこ. 法についてまとめ，研究会での議論材料を提示する．. とを期待している．投票結果を開示するとともに，その中. 2. EC 研究会の現採点・投票システム表彰の仕事の一つは，SIGEC 学生優秀賞と山下記念研 1. a). から数件（得票数に応じて毎年変動している）選出する．その後，表彰の手続きを進め，翌年の研究会にて表彰を執り行うのが通例となっている．. 京都大学 IPSJ, Chiyoda, Tokyo 101–0062, Japan [email protected]. ⓒ 2017 Information Processing Society of Japan. 1.

(2) Vol.2017-EC-45 No.3 2017/8/21. 情報処理学会研究報告 IPSJ SIG Technical Report. 4月から翌年3月までに開催される研究会・シンポジウム. 1月から12月までに開催される研究会. 学生筆頭・学生発表. 上記以外の発表. 研究会 1. 研究会 2. 研究会 3. シンポジウム. 研究会1. 全ての発表を採点する. 全ての発表を採点する. 全ての発表を採点する. 全ての発表を採点する（学生発表を区別しない）. 全ての発表を採点する. 採点者. 採点者. 採点者. 採点者. 採点者. …. 高得点の学生発表を投票対象. リストアップされた発表の論文を参考資料とし，投票を行う. S賞. 数件を選出. 高得点のものを投票対象. …. としてリストアップ. としてリストアップ. リストアップされた発表の論文を参考資料とし，投票を行う. 研究会会員. 最大2件を選出. Y賞. 図 1 EC 研究会の現採点・投票システムの概要. Fig. 1 Overview of current scoring-voting system in SIG-EC.. 2.2 Y 賞の採点・投票の流れ. 一方で，投票段階では著しく低い投票数が問題となり得. Y 賞は，年度単位で賞を定めることから，4 月から翌年. る．投票では，候補者となっている研究発表を評価すると. の 3 月までに開催される 3 回の研究会と年一回 EC 研究会. いうタスク（負荷）が投票者に課せられることとなる．こ. 主催で行われるシンポジウムを対象とし，そこで行われた. の投票によって，EC 研究会などの組織は恩恵を被ること. 研究発表の中から優秀なものを選出する手順を経る．S 賞. になるが，投票者個人にとっては明確な見返りは期待でき. とは異なり，学生発表に限定することはない．選出方法は. ないことは容易に想像できる．社会的ジレンマの一種とも. S 賞と同様，採点と投票の二段階がある．. 考えられるこの問題を解く方法を見出すことは難しいと考. 研究会に関する採点は S 賞と同様であり，研究会毎のば. えられる．一つの実用的な解としては，投票自体を取りや. らつきを考慮して候補者を選出する．また，シンポジウム. め，「選定委員」を設置することが考えられるが，エンタテ. に関する採点は開催年によって異なるが，シンポジウム担. インメント研究発表の評価に妥当であるのか疑問が残る．. 当者から順位づけされたデータを受け取り，上位の研究発表を候補として選出する．. 3. 改善策の案. 投票は，研究会からの候補者とシンポジウムからの候補. 投票に協力的でないのにはいくつかの理由があると推測. 者を対象に，原則研究会会員によって行われる．S 賞と同. できる．一つは既に述べているように，発表論文の評価と. 様に，発表論文を参考に評価してもらうことを期待してい. いう負荷を避けることが考えられるが，このような消極的. る．投票の結果から，受賞者としての条件を確認のうえ，. な理由だけではない可能性は十分にあり得る．例えば，投. 上位 2 件を選出する．. 票はしたいがエンタテインメント研究をどのように評価すべきかが判断できないと考える会員がいてもおかしくはな. 2.3 現行システムの問題点採点段階において，異なる採点者や異なる回の研究会に. い．そのためには，研究会会員の中で事前に投票時の評価点についてある程度の共有は必要であると考えられる．. よってその採点基準は一つに定まらないが，投票の候補者. その他，時期の問題も生じるが，選定をメタ研で実施す. として選出する段階においてそのばらつきを考慮している. ることも考えられる．具体例をもってエンタテインメント. ため，大きな問題ではない．一定の基準を設けるとなると，. 研究の評価方法についても議論でき，また表彰対象となり. 採点者だけでなく，多くの関係者に負担を与えかねないた. 得る質の高いエンタテインメント研究について考えること. め，この点を問題と捉えて解法を求めるのは不要と考える．. で研究会自体に貢献できる可能性がある．. ⓒ 2017 Information Processing Society of Japan. 2.

(3)