学術情報流通の変革が与える研究評価への影響と研究者支援

学術情報流通の変革が与える

研究評価への影響と研究者支援

林 和弘 科学技術・学術政策研究所 科学技術動向研究センター 2014年11月21日(金) 第11回メディアセンター研修会

Who speaks?

 Majored in Chemistry (Organic Synthesis):  Scientist  Once a Computer geek to develop E‐journal system starting from the  digital tracking system of peer reviewing in 1995: System Developer  Got a job at the Chemical Society of Japan to establish E‐journals: Editor and Publisher with bibliometrics  Then Journal Manager at CSJ : Project and Business Manager  Now National Institute of Science and Technology Policy, Japan:  Researcher for policy makers  To see scholarly publishing from a bird‐view and find a way to  implement new paradigm such as Open Access, Science X.0  Want to be: enhancer, catalyzer, or translator between stake holders to  get all transferred to the next stage   Board member of ALPSP (2011) [Publishing Industry]  IUPAC Committee Member on Print and Electronic Publishing (CPEP)  Specially appointed member of Science Council of Japan (2010‐2014) [Community of Science]

投稿 査読 組版

論文誌の電子ジャーナル化

・投稿査読システムの開発 ・郵送時代からの運用経験 ・投稿者 ・編集委員、審査員代理 ・J-STAGEの開発協力 ・Web先行公開、OA対応 ・新着お知らせ＋RSS ・化学会HPの改善とPR ・EJ購読管理体制の構築 ・マーケティング、宣伝 投稿者 電子投稿 読 者 アクセス 他機関とのリンク 査読者 投稿者 著者校正 ・SGMLからXML出版を確立 ・ePub ・論文校正アルバイト 査読依頼 結果 投 稿 ・ 掲 載 の 流 れ 冊子体 web公開 1994-2010

Research Interest 2006-2014+

電子ジャーナルの未来

電子ジャーナルの先の

学術コミュニケーション

学会 大学図書館、

出版社の将来

国産電子ジャーナルの

地位確立

研究評価と政策

（大学、

URA）

今日お伝えしたいこと

電子ジャーナル化がもたらした光と影

今後の学術情報流通と研究評価の

新しい局面が研究者に問いかけるもの

インパクトファクターゲーム

ある工学系研究者のぼやき

「被引用数ゲームに最適化したものが勝つ」

電子ジャーナルはその状況を打破できるか

メッセージ1

電子ジャーナル化によって、情報管理、情

報探索は便利になり、あらゆる情報はしか

るべき単位毎に、多次元、多様なリンクで

繋げられるようになった

Digital Resources  management tools E‐journal E‐journal E‐journal DB DB DB E‐journal E‐journal E‐journal DB Google (Scholar) Secondary  information DB Citation DB Reference‐linking Via portal site Secondary DB Titles Packages Institutional Knowledge DB  Packaging

Internet

（linking each article  with DOI, OpenURL） Specialty 

of readers # of readers

High

Low Many

Few

License Management by Libraries

EJ:Many Routes, Many Readers

Reader

Publisher Librarian

Government Officer, Citizens

Source by Mark Miller, Brandeis University; Virgo Consortium for Cosmological Supercomputer Simulations; www.visualcomplexity.com.

メッセージ2

電子ジャーナル化により、引用による研究

論文のインパクト計量が効率化され、被引

用数をベースとした研究評価のメリット・

デメリットが改めて浮き彫りになった。

被引用数をベースとした主な研究評価指標

• IF等雑誌の評価指標の誤用

– 評判の高いジャーナルはIFも高いか – IFは論文の被引用数の期待値なのか

• h-indexによる研究者評価

– イチロータイプの研究者がクローズアップ – 数学、工学等には不向き

• Top 10%、Top 1%論文数による評価

– 分野ごとのノーマライズされてはいる – 分野設定はここの研究評価にとって適切か

• 総被引用数

– 論文の量と被引用数を総合的に見る

被引用数を用いた研究評価

被引用数利用のメリット

・論文の質を測る上で現在最も優れている (他に代替する候補がなかなか無い：視聴率、偏差値) ・研究者の明確な意思を掴んでいる

デメリット、注意点

・論文を主な研究成果としない分野がある ・引用量、引用サイクル（期間）に分野の差がある ・引用にも色々な種類がある 思想の引用、手法の引用、ネガティブ引用 ・すぐに評価できない →IFを誤用してしまう要因（被引用数の期待値として） ・引用の分布には歪みがある（skewed) 平均値を取る意味

メッセージ3

現在は、研究評価に複合的な視点が持てる、

あるいは、持たざるを得ない時代である

ID(識別子)の浸透により、 どの研究機関の誰がどの研究費を使ってどんな研究をし、 その成果とインパクトはどうだったかがわかる時代へ Internet 研究者 研究機 関 論文 (成果) 研究費 ORCID E-Rad KAKEN-研究者リゾルバー READ DOI データマイニング Open ID オープンアクセス 研究費の透明性の確保 社会への説明 引用・アクセス数などに よる横断的パフォーマン ス解析＋Altmetrics 論文誌の電子ジャーナルをめぐる最近の動き，科学技術動向, 2009/7, 100, 10‐18. (改変)

識別子の発展による複合評価の時代

From Journal Level Metrics (ISSN, IF)

• Article Level Metrics (DOI, CrossRef)

• Author Level Metrics (ORCID)

– Institution Level Metrics InCites, SciVal – National Level Metrics OECD, NISTEP

In addition to Scholarly Impact

• Societal Impact

• Economic Impact

• Educational Impact

• ROI (Return of Investment)

Source by Mark Miller, Brandeis University; Virgo Consortium for Cosmological Supercomputer Simulations; www.visualcomplexity.com.

SciVal, SciVerse WOS, InCites

メッセージ4

公的資金による研究開発の費用対効果の観

点、大学のマネジメントとしての研究者パ

フォーマンス評価など、さまざまな視点の

評価が起きようとしている。

研究パフォーマンス測定ツール

• 研究パフォーマンスベンチマーク

18

データのマッシュアップによる研究パフォーマンス測定

Complete support for the full research lifecyle

Workflow ScienceWire 20 Jan C. Maier、古林 奈保⼦ 研究のトータルライフサイクルを考える トムソン・ロイターが提供する新しい研究分析指標 2014年６月19日【第2 回 学術シンポジウム】大学ランキング向上と、世界を牽引する研究の発掘に向けて～グ ローバル化・研究力強化に今求められる取り組みとは～後援：東京工業大学

研究マネジメントツール

多面性、多次元性

A) できた土俵の上で勝つか a. ゲームのルールの中で最適化を図る b. 「評判の高い」ジャーナルで論文数と被引用数を稼ぐ、研究 費をとにかく獲得する c. 被引用数で測られやすい研究分野には朗報？ B) 土俵を変えるか a. ゲームのルールを変える b. ルールを変えうる要因は？ c. 被引用数だけでは研究インパクトを測れない研究分野、研究 成果をどう測るか d. どんな土俵が研究評価にふさわしいか

研究者の処世術

注）本来研究者の「処世術」という表現には個人的には違和感があるが現実を踏まえて敢えて提示

メッセージ5

電子ジャーナル化はオープンアクセス

（OA）モデルを生み出し、研究論文につい

ては手法が整いつつある

オープンアクセス（

OA）とは

誰もが学術情報へ自由にアクセスできるようにする活動 • [理念]学術情報へのアクセスは本来無料であるべき – 知の発展とオープンイノベーションの推進 • [発端]論文の増大、商業出版者による寡占と価格高騰 – 図書館が買い支えられない • [転換]公的研究資金で得られた研究に対する社会説明責任

– 米NIHによる義務化（2005- 医療情報のPublic Access）

• [実態]電子ジャーナルを無料で読者に提供する活動が中心 – Green（著者最終版利用）, Gold（ジャーナル自体がOA）, エン バーゴ（一定期間後にOA) • [展開] – 単なるフリーアクセスから、再利用と改変を可能とすることを重 視 – 論文だけで無く、データを中心とした研究成果に関してもOAの 動きが活発に（G8, GRC, ICSU)

The development of open access publishing 1993–2009.

Laakso M, Welling P, Bukvova H, Nyman L, et al. (2011) The Development of Open Access Journal Publishing from 1993 to 2009. PLoS ONE 6(6): e20961. doi:10.1371/journal.pone.0020961

49ヵ国、>400のOA義務化ポリシー

実施 計画中 助成機関 85 12 研究機関 248 15 学位 108 -合計 441 27 *2014年1月現在 OA義務化ポリシー数 http://roarmap.eprints.org

OA availability by discipline.

Björk B-C, Welling P, Laakso M, Majlender P, et al. (2010) Open Access to the Scientific Journal Literature: Situation 2009. PLoS ONE 5(6): e11273. doi:10.1371/journal.pone.0011273

OAの潜在的便益（政策的観点）

•研究を加速し成果を見つけやすくすること

で研究開発投資の費用対効果を上げる

•同じ研究を繰り返すこと避け、研究開発コ

ストを抑える

•境界領域や多領域にまたがる研究の機会

を増やし、多分野の協調を促す

•研究結果の商業化を早く広い観点から行

い、公共研究開発投資の効果を上げ、科

学情報を基にした新しい産業を生み出す

Fact sheet: Open Access in Horizon 2020

https://ec.europa.eu/programmes/horizon2020/sites/horizon2020/files/FactSheet_Open_Access. pdf

オープンアクセスとクリエイティブコモンズ

• MtoM（機械が読者）時代 • 研究データの共有と利活用の促進（CC0） http://creativecommons.jp/licenses/

メッセージ6

いよいよ、本来のweb基盤を前提とした

「ボーンデジタル」の学術情報流通が生ま

れ始めており、研究成果のパフォーマンス

指標として、被引用数に加えて

「Altmetrics」にも注目が集まっている。

「電子化」ジャーナルと「電子ジャーナル」

32 多面的につながる情報サービス

印刷できないジャーナル

Altmetricsとは

Altmetrics：Alternative Metricsの略語

• 論文やデータセットなど様々な

研究成果物

の

影響

を

– ①ソーシャルメディアの反応を中心に 定量的に測定する – ②その手法を用いて新しい研究の影響度を 測定・評価し、被引用数を代替、補完する。 研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測 定を可能とするAltmetrics―，科学技術動向，2013，134，20-29．

研究論文と

_Altmetrics

35

http://www.mendeley.com/graphics/common/privacy_1005816904095846.jpg

Altmetricsの多面性

専門家 社会 科学者の評判 学術的影響度の計量 社会の評判 科学技術の理解 科学コミュニケーションの定量化 ソーシャルメディアの計量範囲 これまでの研究影響度 を補完するAltmetrics （被引用数の先行指標など） 新たな指標候補として のAltmetrics （社会的影響度など）

The 3rd SPARC Japan Seminar 2013

"Redefining the Impact of Research Outputs in the Age of Open Access: Current State of Reuse and Altmetrics”

Jason Priem(this table), Mark Hahnel

http://www.nii.ac.jp/sparc/en/event/2013/20131025en.html

Altmetricsの特徴

• 広域・社会性：

社会の評判など、専門家以外への影 響度が測定可能になった

• 補完・代替性：

引用以外の手法で、または、引用で は測りにくい分野の専門家への影響度が把握できる可 能性がある

• 即時性・予測可能性：

論文公開直後からその影響度 を定量的に測定でき、将来予測等に素早く活用可能な 可能性を持つ

メッセージ7

OA、altmetricsなどの新しい学術情報流通

の仕組みは、研究成果と評価の在り方に新

たな問いを投げかけており、様々なチャレ

ンジが試みられている。

OAメガジャーナルの衝撃

PLoS One http://www.plosone.org/

Public Library of ScienceのOA誌 幅広い分野 からの投稿を受け付ける

• 新規性やインパクトを問わない査読（早く 軽い査読）

• 出版後の評価、評判を測る仕組みを用意 （Article level metrics)

– OAだからフェア • 事業としては電子ジャーナルのスケールメ リットを最大限に生かす • 前評判は芳しくなかった →一定のインパクトも持つことが判明 （PLoS Oneのファーストインパクトファク ターが4を超える）して、状況が一変 学会、出版者からのOAメガジャーナルの創刊 が続く http://www.nii.ac.jp/sparc/event/2011/pdf/5/3_binfield df

ピアレビューの限界と出版後評価

• 出版論文数の増大

• 研究分野の細分化による査読者探しの難化

• 早期出版（査読を早く）のプレッシャー

↓

• 事前に査読することがどんどん難しくなってい

る

• 評価は市場が決めれば良い（集合知）

• オープンなら幅広く（公平に）評判がわかる

• 出版後評価へ

チャレンジ例

• 有料ピアレビュー Rubriqで試行 • ポータブルピアレビュー Rubriq他一部の出版者で実施or検討 • 研究成果の流通単位の極小化 figshare Scientific Data

• ピアレビュー（相当）の自動化 英文校閲会社などで検討

• 研究者の敷居を低くする

図表、データ自体が単体でメディア化

これらのチャレンジが問い直すもの

• 「雑誌」の意義

• 「査読」の意義

• 「評価」の在り方

• 「研究成果」の在り方

• 「成果の再利用」の在り方

• 「研究」の在り方

→紙と物流から離れることで始まった動き

→ゲームのルールを根底から変えるポテンシャル

歴史に習えば

• The framework of science (communication)

designed by and based on Gutenberg’s world

Transition State

Future

?

Print based dissemination Web native dissemination

Past 学術情報流通の再発明と 不連続変化 学術情報流通を取り巻くアイテム、サービスの変革 基準 変革第初段階 変革次段階 不連続変革 アイテム 対象 対象の電子化 新しい価値の付加 別業種、新規ステークホルダー の参入、異なる視点からの価値 の付与、サービスの実装 ジャーナル 冊子体 PDF Xhtml　データベースとの連携 動画ジャーナル （データ出版） 査読 Peer Review 電子査読システム

Open Peer Review OAメガジャーナル用簡易 Review

Altmetrics等を利用した事後レ ビュー

文献管理 ファイリング EndNote（初期） RefWorks Zotero, Mendeley、ReadCube

購読・配信 発送ベースの購

読管理 IP、ID管理 パッケージとビッグディール オープンアクセス

書籍 紙の書籍 PDF ePuB(eBook)、独自フォーマット

蔵書管理 目録 OPAC WebCat, World Cat カーリル、ディスカバリーサービ

ス、Amazon

授業 プリント授業 ppt利用 OCW(Open Course Ware) MOOC

板書 黒板 電子黒板 インタラクティブホワイトボード MOOC上のスクリーン 目的 紙、物流、郵送 ベースの仕組み で目的を達成す る手段 アイテムのデジタ ル化、WWW対応 前段階をベースにインクリメンタ ルに革新することが繰り返され る アイテムの本来の目的に（結果 的に）立ち返り、別の手段、パラ ダイムで目的を実現する *あくまで例示であり、各要素、サービスごとに、1つの見方を切り取って紹介している場合もある

メッセージ1

電子ジャーナル化によって、情報管理、情

報探索は便利になり、あらゆる情報はしか

るべき単位毎にリンクで繋げられるように

なった

メッセージ2

電子ジャーナル化により、引用によるイン

パクト計量が効率化され、被引用数をベー

スとした研究評価のメリット・デメリット

が改めて浮き彫りになった。

メッセージ3

現在は、研究評価に複合的な視点が持てる、

あるいは、持たざるを得ない時代である

メッセージ4

公的資金による研究開発の費用対効果の観

点、大学のマネジメントとしての研究者パ

フォーマンス評価など、さまざまな視点の

評価が起きようとしている

メッセージ5

電子ジャーナル化はオープンアクセス

（OA）モデルを生み出し、研究論文につい

ては手法が整いつつある

メッセージ6

いよいよ、本来のweb基盤を前提とした

「ボーンデジタル」の学術情報流通が生ま

れ始めており、研究成果のパフォーマンス

指標として、被引用数に加えて

「Altmetrics」にも注目が集まっている。

メッセージ7

OA、altmetricsなどの新しい学術情報流通

の仕組みは、研究成果と評価の在り方に新

たな問いを投げかけており、様々なチャレ

ンジが試みられている。

将来を見越してできること

前提：「研究者」が学術情報流通の主役である – オープンアクセスへの対応 • 自分の研究成果のプレゼンテーションをどう最適化すべきか • 情報（論文）収集、発信のためのコスト負担はどうあるべきか – 研究評価に対する対応 • 過度の「被引用数ゲーム」にならないよう、どうルールを変え るか • 政策としての研究評価の存在をどう意識し対応するか （公的資金投入に対する社会説明責任、ROI等） – Altmetrics等の活用による、新しい評価軸構築へのチャ レンジ • 研究者・機関・政策担当者それぞれの問題関心に沿ったデータの集 計・測定を行い、それぞれの立場で利用の効用と限界を知りつつ、研 究評価につなげる必要がある。

図書館ができること（研究支援）

• Research Administrator

– Analyzing ROI of resources for researches – Consulting Board members with Research

Management tools

• Post Subject Librarian

– Research data management, preservation, curation – Publishing research OUTPUTS by enhanced IR

• Post Curator

– Advanced searcher – APC manager

– Engineer to select information with M to M skills

ラストメッセージ

電子ジャーナル化とその先にある学術情報

流通の世界は、研究者および図書館にとっ

て面白くも悩ましい世界である

面白くするか悩むかは、研究者、コミュニ

ティ、図書館次第

Learning from history of YAMAHA

ヤマハの歴史 • 1897年（明治30年）に日本楽器製造株式会社（ニチガ ク）として発足。創業90周年に当たる1987年（昭和62 年）に社名をヤマハに改称。 • たまたま浜松小学校のアメリカ製のオルガンの修理を 頼まれ、これに成功したのを手掛りにオルガンの製作 を開始したのが始まり。 • 第二次世界大戦中は軍需生産（プロペラ制作等）に 従ったが、戦後は楽器生産に復帰。 • 接収されたプロペラ制作の機械を利用する形で、オー トバイを開発。1955年（昭和30）にはヤマハ発動機を 設立。 https://kotobank.jp/word/ヤマハ(株)-1602844

THE YAMAHA CENTURY : ヤマハの100年。そして21世紀へ。 http://ci.nii.ac.jp/ncid/BN03876419

Learning from history of YAMAHA

• エレクトーン、ステレオセット、家具、スポーツ用品な ど製品多様化を進め、海外市場を開拓。 • 日本各地にヤマハ音楽教室を開設、さらに財団法人ヤマ ハ音楽振興会を設置、音楽教育と音楽の普及に努める。 • 楽器の電子化の流れで電子楽器も作成し、トランジスタ の内製化から始まり、半導体も開発。 • 半導体技術の応用でネットワーク機器（ルータ等）を開 発 →本業を軸に多面展開（本業はぶれない） https://kotobank.jp/word/ヤマハ(株)-1602844

THE YAMAHA CENTURY : ヤマハの100年。そして21世紀へ。 http://ci.nii.ac.jp/ncid/BN03876419

ご清聴ありがとうございました

Twitter : hayashi_kaz

Facebook, LinkedIn, Mendeley

Kazuhiro Hayashi (with a picture)

参考資料

電子ジャーナル、学術情報流通、計量書誌学の将来 • 論文誌の電子ジャーナルをめぐる最近の動き http://hdl.handle.net/11035/2056 • 今後の学術情報流通 : 新しいフレームワークの構築に向けた一考 察 http://ci.nii.ac.jp/naid/110009662000 • 計量書誌学から研究活動計量学へ http://ci.nii.ac.jp/naid/40020277242 Altmetrics

• What’s altmetrics (altmetrics.org）http://altmetrics.org/about/

• Altmetricsの可能性：ソーシャルメディアを活用した研究評価指標 / 坂東慶太http://dx.doi.org/10.1241/johokanri.55.638

• 研究論文の影響度を測定する新しい動き ―論文単位で即時かつ多 面的な測定を可能とするAltmetrics―