JAIST Repository
https://dspace.jaist.ac.jp/ Title 産総研研究ユニット評価における評価視点の変更に伴 う評価委員の意識の変化 Author(s) 山本, 哲也; 岡, 修一 Citation 年次学術大会講演要旨集, 24: 541-544 Issue Date 2009-10-24Type Conference Paper Text version publisher
URL http://hdl.handle.net/10119/8690
Rights
本著作物は研究・技術計画学会の許可のもとに掲載す るものです。This material is posted here with permission of the Japan Society for Science Policy and Research Management.
２Ｃ１６
産総研研究ユニット評価における評価視点の変更に伴う
評価委員の意識の変化
○山本哲也、岡修一(産総研) 産総研は平成 13 年の独法化への移行とともに評価部を設置し、国の研究開発に関する大綱的指針等に基 づき評価指針を定め、組織評価を開始した。各年度終了時には、当該年度に実施した評価の総括を行い、 適宜、評価制度の見直しを実施すると同時に、第 1 期中期目標期間終了時には、これまでの評価活動から 見えてきた課題の抽出と総括を行い、更に、新たな評価システム構築のための外部委員会を開催し、「アウ トカムの視点からの評価システム」を新たに構築し評価を実施した。平成 20 年度末で、アウトカムの視点 からの評価を開始してから全ての研究ユニットに対して評価が 2 巡したことになり、第 2 期の評価システ ムの定着が見られた現段階において、本評価システムの導入について検証を試みた。本稿では、その一環 として第 1 期から第 2 期への評価の視点の変更に伴う、評価委員の意識の変化を評価コメントから概観す る。 1. はじめに 独立行政法人産業技術総合研究所(以下、「産総 研」という)は、平成 13 年 4 月に発足と同時に評 価部を設置し、平成 9 年、平成 13 年の「国の研究 開発に関する大綱的指針(内閣総理大臣決定)」に 沿って評価方針を定め、研究ユニット評価等の評 価活動を行ってきた。平成 16 年度までの第 1 期中 期目標期間(以下、「第 1 期」という)の 4 年間(平 成 13～16 年度)においては、基本的には、目標レ ベルの妥当性、進捗状況、体制・運営面の工夫・ 努力に対して評価を実施した[1-2]。各年度終了時 には、その年度に実施した評価の総括を行い、適 宜、評価制度の見直しを実施すると同時に、第 1 期中期目標期間終了時には、これまでの評価活動 から見えてきた課題の抽出を行い、更に、経済産 業省独立行政法人評価委員会による「中期目標期 間評価におけるアウトカム指標の抽出」の決定、 並びに、産業技術総合研究所研究評価検討委員会 （委員長：平澤泠東京大学名誉教授）「産総研の研 究開発評価のあり方」(中間まとめ)[3]による「ア ウトカムの視点からの評価の必要性」という指摘 を受け、「アウトカムの視点からの評価システム」 を新たに構築した。この新しい評価システムの実 際の研究ユニット評価への導入に先立ち、アウト カムの視点に沿った 3 評価軸(ロードマップ、アウ トプット、マネジメント)を設定し、その評価シス テムの有効性の検証を行うとともに、評価に当た って配慮すべき具体的な問題点を把握することを 目的に、まず、研究ユニットに対して「試行」評 価を行った。その結果、アウトカムの視点からの 研究ユニット評価が必要かつ有効であろうとの大 方の合意を得るに至った。第 2 期中期目標期間(以 下、「第 2 期」という)が開始された平成 17 年 4 月からは、全ての研究ユニットに対してアウトカ ムの視点からの評価を隔年度のインターバルで開 催し、平成 20 年度末で全研究ユニットに対して評 価が 2 巡したことになり、新たに導入した評価シ ステムに関しての大方の定着が見られたものと考 えられる。 本稿では、特に、第 1 期から第 2 期にかけての 大幅な評価システムの変更を踏まえた評価委員の 意識の変化を、評価コメントの中における評価キ ーワードの時系列的な変遷として観てみることと する。 2. 評価システムの変遷 2－1. 第 1 期中期目標期間における評価[1,2] 評価部は、評価委員会開催に際し、研究ユニッ トに対して評価資料の提出を求め、事務局として 委員会を開催する。評価委員会には、毎年開催さ れる成果ヒアリングと、開始直後の研究ユニット に対して実施するスタートアップ評価がある。な お、本稿では、スタートアップ評価は取り上げな い。 評価委員会は、外部委員と内部委員(平成 14 年 度から)から構成される。外部委員は、産総研外の 専門家や有識者で構成され、内部委員は、第 1 期 においては、主として産総研理事や研究コーディ ネータが担当した。なお、平成 16 年度からは評価 部に首席評価役を置き、その役割を担っている。 評価部は、評価委員会(成果ヒアリング)開催後に、 評価票に記載された評価委員からのコメントを取 りまとめ、評価報告書を作成する。 第 1 期における評価項目としては、平成 13 年度 は、「研究目標の妥当性」、「研究計画の妥当性」、 「研究体制の妥当性」を主要な項目にしていたが、 平成 14 年度以降は、「個別重点課題の目標レベル の妥当性」、「個別重点課題の進捗状況」、「重点課 題全般」、「研究ユニットの体制・運営」である。 評価コメントに関しては、外部委員、内部委員と もに、これらの項目に対して評価票に記載して頂 くことになる。評価委員から返却された評価票に ついては、平成 14 年度以降は、研究ユニットに回 付され、研究ユニットからのコメントも併記され る形式とした。2－2. 第 2 期中期目標期間における評価[2,4] 第 2 期中期目標期間(平成 17 年度～21 年度)か らは、経済産業省独立行政法人評価委員会による 「中期目標期間評価におけるアウトカム指標の抽 出」の決定、並びに、産業技術総合研究所研究評 価検討委員会（委員長：平澤泠東京大学名誉教授） 「産総研の研究開発評価のあり方」(中間まと め)[3]による「アウトカムの視点からの評価の必 要性」という指摘を受けて、アウトカムの視点か らの評価を実施した。この新しい評価システムの 実際の研究ユニット評価への導入に当たっては、 新たにアウトカムの視点に沿った 3 評価軸(ロー ドマップ、アウトプット、マネジメント)を設定し、 研究遂行の計画および得られた成果の妥当性、さ らに研究ユニットの実施体制の適切性について評 価を実施した。評価の名称については、第 1 期の 「成果ヒアリング」とは異なる視点による評価を 行うので、「成果評価」と名称を改めている。また、 評価インターバルについても第 2 期から隔年度に 変更した。 評価委員会としては、第 1 期と同様に、新設さ れた研究ユニットについては、スタートアップ評 価を実施し、また、第 1 期から第 2 期にかけて継 続して存続する研究部門については、第 2 期初年 度(平成 17 年度のみ)に「第 2 期中期計画開始時評 価」をスタートアップ評価と同様の位置づけで実 施した。なお、スタートアップ評価は、研究ユニ ットが設立される前に検討されるユニット設立審 査委員会との評価の重複を避けるため、平成 20 年度の秋以降の新設研究ユニットから廃止した。 評価委員会は、外部委員と内部委員から構成さ れ、外部委員は、産総研外の専門家や有識者で構 成され、内部委員は、評価部首席評価役が担当し ている。外部委員は主に個別研究課題について評 価し、内部委員は、課題全般とマネジメントを中 心に評価する。評価部は、評価委員会開催後に、 評価票に記載された評価委員からのコメントを取 りまとめ、評価報告書を作成する。なお、評価委 員から返却された評価票は、研究ユニットに回付 され、研究ユニットからのコメントが併記される 点は、第 1 期と同じである。 第 2 期から研究ユニット評価のインターバルが 隔年度に移行したため、成果評価を開催しない年 度に研究ユニットがその活動状況を評価委員に提 示し、評価委員と意見交換を行い有益な助言を得 る機会「モニタリング意見交換」を開始した。意 見交換の開催形式としては、各研究ユニットに一 任されており、意見交換の結果のみを評価部に報 告するものとしている。なお、この「モニタリン グ意見交換」は評価とは位置づけないが、結果は 理事長に報告される。本稿では、成果評価のみを 検討対象とし、スタートアップ評価、第 2 期中期 計画開始時評価、モニタリング意見交換は対象外 とする。 3. 検討対象となる研究ユニット数 表 1 に今回の分析において検討を行った研究ユ ニット数（第 1 期）を研究分野別に示す。ここに 示された研究ユニットの数は、当該年度に成果ヒ アリングを実施した研究ユニット数である。社会 基盤分野については、第 1 期中は社会基盤（地 質）・海洋分野、社会基盤（標準）分野という分類 がなされていたが、ここでは 1 つの分野として検 討した。表 2 には、今回の分析において検討を行 った研究ユニット数（第 2 期）を研究分野別に示 す。毎年度、評価を実施していた第 1 期と比較が 行えるように、2 年間を 1 つの括りとして示して いる。また、表 1 と同じく、ここに示された研究 ユニットの数は、当該年度（2 年間）に成果評価 を実施した研究ユニット数である。社会基盤分野 については、第 2 期においては、2 分類（地質分 野、標準・計測分野）であるが、ここでも、第 1 期との比較の観点から 2 研究分野を 1 つの研究分 野として示している。 表 1. 検討した研究ユニット数（第 1 期） H13 年度(54 研究ユニット) ライフサイエンス分野 9 情報通信分野 11 ナノテクノロジー・材料・製造分野 15 環境・エネルギー分野 13 社会基盤(地質・標準)分野 6 H14 年度(60 研究ユニット) ライフサイエンス分野 11 情報通信分野 11 ナノテクノロジー・材料・製造分野 16 環境・エネルギー分野 15 社会基盤(地質・標準)分野 7 H15 年度(61 研究ユニット) ライフサイエンス分野 11 情報通信分野 12 ナノテクノロジー・材料・製造分野 16 環境・エネルギー分野 15 社会基盤(地質・標準)分野 7 H16 年度(46 研究ユニット) ライフサイエンス分野 12 情報通信分野 9 ナノテクノロジー・材料・製造分野 9 環境・エネルギー分野 11 社会基盤(地質・標準)分野 5 評価委員会における「評価票」は、評価委員か らのコメントが記載された後で、研究ユニットに も回付され、研究ユニットからのコメントも併記 されるが、今回は、評価委員からのコメントのみ を抜き出して分析対象とした。なお、テキストデ ータに関しては、分析精度向上のために、「全角英 数字」は「半角英数字」に、「全角アルファベット」 は「半角アルファベット」に、「半角カタカナ」は 「全角カタカナ」に変更する処理を前もって全コ メントに対して行った。また、コメント中の「な し」、「特になし」等は空欄と同様な取り扱い(記載
なし)とした。以上のような処理を施したテキスト ファイルを分析用のテキストデータとして扱うこ ととする。 表 2. 検討した研究ユニット数（第 2 期） H17-18 年度(45 研究ユニット) ライフサイエンス分野 11 情報通信・エレクトロニクス分野 10 ナノテクノロジー・材料・製造分野 8 環境・エネルギー分野 10 地質分野／標準・計測分野 6 H19-20 年度(48 研究ユニット) ライフサイエンス分野 14 情報通信・エレクトロニクス分野 8 ナノテクノロジー・材料・製造分野 9 環境・エネルギー分野 12 地質分野／標準・計測分野 5 4. 期の移行に当たって大きな変化のない用語 図 1 に、評価票に現れる用語「評価」の数を年 度ごとに示した。なお、同図中において、用語「評 価」の数を 5 研究分野別で示している。年度の違 いはあるが、「評価」という用語は、1 研究分野当 り、200～800 程度の記載がなされている。図より、 第 1 期、第 2 期ともに、用語「評価」の数が一定 数以上現れている。第 1 期から第 2 期へ大幅に評 価システムが変化しようと、評価を実施するとい う原則は変わらない。それが、期をまたいで大幅 な変化のない傾向として現れている理由の一つで あろうと推察される。なお、平成 16 年度において 全体的に出現数の落ち込みがみられるのは、当該 年度において研究ユニット総数が減ったことによ り、コメント総数自体が減ったことが原因の一つ としてあるのではないかと考えられる。 H13 H14 H15 H16 H17-18 H19-20 0 200 400 600 800 1000 用語 数 年度 ライフ 情報 ナノ 環境 基盤 図 1. 用語「評価」の出現数の時系列変化 図 2 には、評価票に現れる用語「連携」の数を 年度ごとに示した。この用語「連携」に関しても、 図より、第 1 期、第 2 期ともに、一定数以上現れ ている。また、一部の研究分野による違いはある が、「連携」という用語の数は、年々右肩上がりに 増加していることが特徴的である。産総研は、現 在、6 研究分野から構成される国内最大規模の公 的研究機関であり、その多様性を活かし、比較的、 所内においても分野間連携等により新たな知を生 み出しやすい環境にある。評価委員からの指摘事 項の一つとして、研究を行う上での「連携」が年々 重要な要素として意識されていることが示唆され る。 H13 H14 H15 H16 H17-18 H19-20 0 50 100 150 200 250 用語 数 年度 ライフ 情報 ナノ 環境 基盤 図 2. 用語「連携」の出現数の時系列変化 5. 第 2 期から頻出している特徴的な用語 図 3～6 には、評価に関連した用語で、第 2 期か ら評価票中に特に急増した用語を抽出してその数 を時系列的に示した。図 3～6 は、それぞれ、用語 「アウトカム」、「ロードマップ」、「マイルストー ン」、「ベンチマーク」の数を示している。図に示 されているように、これらの用語は第 1 期ではほ とんど現れていないが、第 2 期から急増している。 H13 H14 H15 H16 H17-18 H19-20 0 100 200 300 400 500 用語 数 年度 ライフ 情報 ナノ 環境 基盤 図 3. 用語「アウトカム」の出現数の 時系列変化 著者らは、昨年度の研究・技術計画学会第 23 回年次学術大会において、産総研の第 1 期におけ る評価関連用語の出現頻度の時系列的な特徴を示 した[5]。その結果によると、第 1 期末に向けて、 用語「アウトカム」の微増傾向が確認されている。 アウトカムを意識した新たな評価システムの導入 は、評価委員からの検討対象の一つとして当時か ら既に示唆されていたものと考えられる。第 2 期 から、我々は実際にアウトカムの視点からの評価 を導入した。評価の実施に当たっては、ロードマ ップの提示と共に、マイルストーンやベンチマー クも示すように求めている。ここに示した用語は、 第 2 期の評価システムにおいて新たに取り入れら
れた概念であり、こういった評価の視点を評価委 員が意識しつつコメントを記載した結果、評価コ メント票中に顕著な数となって現れたのではない かと推察される。 H13 H14 H15 H16 H17-18 H19-20 0 50 100 150 200 250 300 350 用語 数 年度 ライフ 情報 ナノ 環境 基盤 図 4. 用語「ロードマップ」の出現数の 時系列変化 H13 H14 H15 H16 H17-18 H19-20 0 50 100 150 200 250 用語 数 年度 ライフ 情報 ナノ 環境 基盤 図 5. 用語「マイルストーン」の出現数の 時系列変化 H13 H14 H15 H16 H17-18 H19-20 0 20 40 60 80 100 120 用語 数 年度 ライフ 情報 ナノ 環境 基盤 図 6. 用語「ベンチマーク」の出現数の 時系列変化 6. むすびと今後の課題 本稿では、第 1 期から第 2 期にかけて実施され た研究ユニット評価委員会における評価委員から のコメントから、評価に関係するキーワードの時 系列的な変遷を観察した。特に第 1 期から第 2 期 にかけて、大きな評価システムの変更が実施され、 それに伴う評価委員の意識の変化を取り上げて分 析した。 まず、第 1 期から第 2 期にかけて、その時系列 的な出現頻度に大きな変化がないと思われる一般 的な用語「評価」、「連携」を取り上げた。これら の用語に関しては、年度による違いはあるものの、 期の移行に関わらず（第 1 期においても第 2 期に おいても）一定数以上の出現数が見られた。また、 用語「連携」の時系列的な出現数については、特 に、研究分野による違いはあるものの、右肩上が りで増加している興味深い傾向が確認された。評 価委員からの指摘として、研究を行う上で連携が 重要な要素として意識されてきていることが示唆 される。次に、これらとは対照的に、第 2 期から の評価システムの大幅な変更に伴い、評価票中に 特に急増した用語を抽出し、その数を示した。検 討対象とした用語は、「アウトカム」、「ロードマッ プ」、「マイルストーン」、「ベンチマーク」である。 どの用語も、第 2 期の評価システムにおいて新た に取り入れられた中心的な用語であり、新たな概 念である。これらの用語が特に急増したというこ とは、評価委員が新たに構築された評価システム を特に意識しつつ、評価コメントを記載したこと が推察される。このように、新たに評価指標を明 示することで、特定の方向に沿った評価委員から の意見を頂くことができる。このような手法は、 組織運営上においても有効であると思われる。 本稿では、用語の出現数の時系列的な変化を観 察した。しかしながら、年度により研究ユニット 数や評価票中のコメント枠の数は異なっているの で、キーワードの数量だけを年度ごとに比較して も、正確な増減の傾向を観察することはできない。 そのため、研究ユニット数や、重点課題の数、評 価コメント枠の数、コメントの文字数等のファク ターを分母として各年度において正規化を行えば、 より詳明な情報とはなろうが、本稿の議論の範囲 内では大差はない。なお、本稿ではキーワードの 出現数量的な検討のみを行っているが、評価コメ ントという評価委員からの直接的な「問いかけ」 を何度も読み返し、その真の意味を真摯に受け止 めることが、重要であることは言うまでもない。 参考文献 [1]産総研評価部、「第 1 期中期目標期間研究ユニ ット評価報告書」、(平成 18 年 2 月). [2]小林直人、「産業技術総合研究所におけるアウ トカムの視点からの戦略的研究評価と産学官連携 への課題」、産学連携学、vol.4、no.1、(平成 19 年 2 月). [3]産総研研究評価検討委員会、「産総研の研究開 発評価のあり方（中間まとめ）」、(平成 16 年 7 月). [4]山本哲也他、「産総研における研究ユニット評 価―アウトカムの視点からの評価の導入による効 果―」、研究・技術計画学会第 21 回年次学術大会 講演要旨集、1F04、pp.320-323、(平成 18 年 10 月). [5]山本哲也他、「産総研研究ユニット評価（第 1 期中期目標期間）における評価コメントのテキス トマイニング手法による定量分析」、研究・技術計 画学会第 23 回年次学術大会講演要旨集、2C27、 pp.740-743、(平成 20 年 10 月).
