Microsoft PowerPoint - altmetrics_大学研究力強化NW_2015_配布用.pptx

Altmetricsの

背景、現況、誤解と期待

林 和弘 科学技術・学術政策研究所 科学技術動向研究センター 2015年2月2日(月) 大学研究力強化ネットワーク 第2回カンファレンス

Who speaks?

 Majored in Chemistry (Organic Synthesis):  Scientist  Once a Computer geek to develop E‐journal system starting from the  digital tracking system of peer reviewing in 1995: System Developer  Got a job at the Chemical Society of Japan to establish E‐journals: Editor and Publisher with bibliometrics  Then Journal Manager at CSJ : Project and Business Manager  Now National Institute of Science and Technology Policy, Japan:  Researcher for policy makers  To see scholarly publishing from a bird‐view and find a way to  implement new paradigm such as Open Access, Science X.0  Want to be: enhancer, catalyzer, or translator between stake holders to  get all transferred to the next stage   Board member of ALPSP (2011) [Publishing Industry]  IUPAC Committee Member on Print and Electronic Publishing (CPEP)  Specially appointed member of Science Council of Japan (2010‐2014) [Community of Science] 投稿 査読 組版

論文誌の電子ジャーナル化

・投稿査読システムの開発 ・郵送時代からの運用経験 ・投稿者 ・編集委員、審査員代理 ・J-STAGEの開発協力 ・Web先行公開、OA対応 ・新着お知らせ＋RSS ・化学会HPの改善とPR ・EJ購読管理体制の構築 ・マーケティング、宣伝 投稿者 電子投稿 読 者 アクセス 他機関とのリンク 査読者 投稿者 著者校正 ・SGMLからXML出版を確立 ・ePub ・論文校正アルバイト 査読依頼 結果 投 稿 ・ 掲 載 の 流 れ 冊子体 web公開 1994-2010

Research Interest 2006-2014+

電⼦ジャーナルの未来

電⼦ジャーナルの先の

学術コミュニケーション

学会 ⼤学図書館、

出版社の将来

国産電⼦ジャーナルの

地位確⽴

研究評価と政策

（⼤学、URA）

Agenda

• Altmetricsとは（教科書的） – 外形的な説明 • Altmetricsを生み出した背景 – 繋がる情報 – 被引用数を用いた研究インパクト計量の功罪 – 電子ジャーナル化が引き起こしたパラダイムシフト – オープンアクセス、クラウド、出版後査読 • Altmetricsとは（より深く） – 現況 – 期待 – 誤解

Altmetricsとは

Altmetrics：Alternative Metricsの略語

• 論文やデータセットなど様々な

研究成果物

の

影

響

を

– ①ソーシャルメディアの反応を中心に 定量的に測定する – ②その手法を用いて新しい研究の影響度を 測定・評価し、被引用数を代替、補完する。 研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測 定を可能とするAltmetrics―，科学技術動向，2013，134，20-29．

研究論文と

Altmetrics

7

So what?

Altmetricsを理解するために

電子ジャーナル化の新しい局面

学術情報流通の近未来

メッセージ1

電子ジャーナル化によって、情報管理、情

報探索は便利になり、あらゆる情報はしか

るべき単位毎に、多次元、多様なリンクで

繋げられるようになった

Digital Resources  management tools E‐journal E‐journal E‐journal DB DB DB E‐journal E‐journal E‐journal DB Google (Scholar) Secondary  information DB Citation DB Reference‐linking Via portal site Secondary DB Titles Packages Institutional Knowledge DB  Packaging

Internet

（linking each article  with DOI, OpenURL） Specialty  of readers # of  readers High Low Many Few License Management by Libraries

EJ:Many Routes, Many Readers

Reader

Publisher Librarian

Government Officer, Citizens

DB Vendor

Source by Mark Miller, Brandeis University; Virgo Consortium for Cosmological Supercomputer Simulations; www.visualcomplexity.com.

メッセージ2

電子ジャーナル化により、引用による研究

論文のインパクト計量が効率化され、被引

用数をベースとした研究評価のメリット・

デメリットが改めて浮き彫りになった。

ある工学系研究者のぼやき

「被引用数ゲームに最適化したものが勝つ」

電子ジャーナルはその状況を打破できるか

インパクトファクターゲーム

被引用数を用いた研究評価

被引用数利用のメリット

・論文の質を測る上で現在最も優れている (他に代替する候補がなかなか無い：視聴率、偏差値) ・研究者の明確な意思を掴んでいる

デメリット、注意点

・論文を主な研究成果としない分野がある ・引用量、引用サイクル（期間）に分野の差がある ・引用にも色々な種類がある 思想の引用、手法の引用、ネガティブ引用 ・すぐに評価できない →IFを誤用してしまう要因（被引用数の期待値として） ・引用の分布には歪みがある（skewed) 平均値を取る意味 メッセージ3

現在は、研究評価に複合的な視点が持てる、

あるいは、持たざるを得ない時代である

ID(識別子)の浸透により、 どの研究機関の誰がどの研究費を使ってどんな研究をし、 その成果とインパクトはどうだったかがわかる時代へ Internet 研究者 研究機 関 論文 (成果) 研究費 ORCID E-Rad KAKEN-研究者リゾルバー READ DOI データマイニング Open ID オープンアクセス 研究費の透明性の確保 社会への説明 引用・アクセス数などに よる横断的パフォーマン ス解析＋Altmetrics 論文誌の電子ジャーナルをめぐる最近の動き，科学技術動向, 2009/7, 100, 10‐18. (改変)

識別子の発展による複合評価の時代

From Journal Level Metrics (ISSN, IF)

• Article Level Metrics (DOI, CrossRef)

• Author Level Metrics (ORCID)

– Institution Level Metrics InCites, SciVal – National Level Metrics OECD, NISTEP

In addition to Scholarly Impact

• Societal Impact

• Economic Impact

• Educational Impact

• ROI (Return of Investment)

ID(識別子)の浸透により、 どの研究機関の誰がどの研究費を使ってどんな研究をし、 その成果とインパクトはどうだったかがわかる時代へ Internet 研究者 研究機 関 論文 (成果) 研究費 ORCID E-Rad KAKEN-研究者リゾルバー READ DOI データマイニング Open ID オープンアクセス 研究費の透明性の確保 社会への説明 引用・アクセス数などに よる横断的パフォーマン ス解析＋Altmetrics 論文誌の電子ジャーナルをめぐる最近の動き，科学技術動向, 2009/7, 100, 10‐18. (改変)

Source by Mark Miller, Brandeis University; Virgo Consortium for Cosmological Supercomputer Simulations; www.visualcomplexity.com.

SciVal, SciVerse WOS, InCites

多面性、多次元性

メッセージ4

電子ジャーナル化はオープンアクセス

（OA）モデルを生み出し、研究論文につい

ては手法が整いつつある

オープンアクセス（

OA）とは

誰もが学術情報へ自由にアクセスできるようにする活動 • [理念]学術情報へのアクセスは本来無料であるべき – 知の発展とオープンイノベーションの推進 • [発端]論文の増大、商業出版者による寡占と価格高騰 – 図書館が買い支えられない • [転換]公的研究資金で得られた研究に対する社会説明責 任

– 米NIHによる義務化（2005- 医療情報のPublic Access）

• [実態]電子ジャーナル（論文）を無料で読者に提供する 活動

– 単なるフリーアクセスから、再利用と改変を可能とするものま で様々な形態

49ヵ国、>400のOA義務化ポリシー

実施 計画中 助成機関 85 12 研究機関 248 15 学位 108 -合計 441 27 *2014年1月現在 OA義務化ポリシー数 http://roarmap.eprints.org

OAメガジャーナルと軽量査読

PLoS One http://www.plosone.org/

Public Library of ScienceのOA誌 幅広い分野 からの投稿を受け付ける

• 新規性やインパクトを問わない査読（早く 軽い査読）

• 出版後の評価、評判を測る仕組みを用意 （Article level metrics)

– OAだからフェア • 事業としては電子ジャーナルのスケールメ リットを最大限に生かす • 前評判は芳しくなかった →一定のインパクトも持つことが判明 （PLoS Oneのファーストインパクトファク ターが4を超える）して、状況が一変 学会、出版者からのOAメガジャーナルの創刊 が続く http://www.nii.ac.jp/sparc/event/2011/pdf/5/3_binfield df

ピアレビューの限界と出版後評価

• 出版論文数の増大

• 研究分野の細分化による査読者探しの難化

• 早期出版（査読を早く）のプレッシャー

↓

• 事前に査読することがどんどん難しくなってい

る

• 評価は市場が決めれば良い（集合知）

• オープンなら幅広く（公平に）評判がわかる

• 出版後評価へ

メッセージ5

被引用数以外のインパクト計量への期待、

オープンアクセスと出版論文数の増大が、

altmetricsを生み出したと見ることもでき、

研究成果の新しいインパクト軽量手法を生

み出す可能性が、被引用数との関係を含め

て議論されている。

ということでおさらい

• 学術情報流通の電子化は多次元のリンクを生み、関連 の情報やセクターの連携を促している • 電子ジャーナル化はその嚆矢 • 被引用数以外の手法でも、科学的インパクトや、その 他の経済・社会・教育的なインパクトを測りたい • 論文数の増大により従来の査読の限界も見え始め、 オープンアクセスと集合知によって出版後に質のフィ ルタリングをすることが可能か ＋もう一つ（政策科学的には） • 公的資金を用いた研究のインパクトアセスメント – 国民のために役立つという意味では、時には科学的 インパクトより経済的インパクトが重視される

Altmetricsとは（補訂版）

Altmetrics：Alternative Metricsの略語

• 論文やデータセットなど様々な

研究成果物

の

影

響

を

– ①現在はソーシャルメディアの反応を中心に定量的 に測定する – ②その手法を用いて新しい研究の影響度を様々な観 点から測定・評価し、被引用数を代替（科学インパ クト）、補完（測れないものを測る）する可能性を 持つ。 研究論文の影響度を測定する新しい動き―論文単位で即時かつ多面的な測 定を可能とするAltmetrics―，科学技術動向，2013，134，20-29．

研究論文と

Altmetrics

31

影響度測定範囲の拡大

http://www.mendeley.com/graphics/common/privacy_1005816904095846.jpg

Altmetricsの多面性

専門家 社会 科学者の評判 学術的影響度の計量 社会の評判 科学技術の理解 科学コミュニケーションの定量化 ソーシャルメディアの計量範囲 これまでの研究影響度 を補完するAltmetrics （被引用数の先行指標など） 新たな指標候補として のAltmetrics （社会的影響度など）

The 3rd SPARC Japan Seminar 2013

"Redefining the Impact of Research Outputs in the Age of Open Access: Current State of Reuse and Altmetrics”

Jason Priem(this table), Mark Hahnel

http://www.nii.ac.jp/sparc/en/event/2013/20131025en.html

Altmetricsの特徴

• 広域・社会性：

社会の評判など、専門家以外への影 響度が測定可能になった

• 補完・代替性：

引用以外の手法で、または、引用で は測りにくい分野の専門家への影響度が把握できる可 能性がある

• 即時性・予測可能性：

論文公開直後からその影響度 を定量的に測定でき、将来予測等に素早く活用可能な 可能性を持つ

メッセージ6

現況は多くの出版者が研究論文を中心とし

た研究成果にaltmetricsを採用。日本独自の

試みも含め、研究者プロファイル、ディス

カバリーサービスにも使われている。

定着するaltmetricsスコア

Altmetric社（altmetric.com）

• Springer、Elsevier、Wiley • HighWire Press、BioOne, PNAS

• Silverchair SCM6プラットフォーム（JAMA, ASHA) • ScienceOpen • 岡山大学機関リポジトリ

PlumX

• ピッツバーグ大学 • ロード・アイランド大学

日本の取り組み例と中国の事情

• 論文検索Qross（アトラス）

– PubMed, J-STAGE, CiNii等を検索

• Ceek.jp Altmetrics

– CiNii, J-STAGE, JAIRO, NII ID, NDLデジタル化資料 – レファレンス協同データベース、Facebook、

Google+、はてなブックマーク、Twitter、Wikipedia – 文献カレンダー表示

• 中国はWikipedia, Twitter, Facebookのアクセス

は遮断

– 微博（研究者もよく使うとされるマイクロブログ） を採用

ディスカバリーと

altmetrics

文献カレンダー

by Ceek.jp Altmetrics

研究者プロファイルとaltmetrics

よくある誤解

• その１：altmetricsがあれば被引用数がいらな

い世界が来る

• その2：altmetricsは単にソーシャルメディアの

評判（

popularity）を示すだけだから無視して

良い

• その3：altmetricsは研究論文のインパクト計量

に使われる

最近のさまざまな検証

• Altmetric.com

– Altmetric 2014 Top100

• オランダライデン大学 科学技術研究センター

– Do altmetrics correlate with citations?

• Colquhoun & Plested

– Why you should ignore altmetrics and other bibliometric nightmares

• マックスプランク協会、Lutz Bornmann

– Alternative metrics in scientometrics: a meta-analysis of research into three altmetrics

今後注⽬されるトピック

図表、データ自体が単体でメディア化

（実験、試験的取り組み） 包括的なデータ共有・保存・管理 一部を除いて、データ共有の作法、事業永続性を担 保する手法について、まだ科学全般的なコンセンサス、 あるいは各研究者コミュニティのコンセンサスが整っ ていない領域 付録 データ 実験 分析 整形 出版 公開 共有 非公開 個人・機関 所有 (相対的データ量) 大 中 小 集積・統合 データリポジトリ （玉石混淆の場合あり） データジャーナル （一定の質保証がされたデータセット） データ出版 論文 引用 引用 データ消失 or 見えないデータ化 従来の付録公開 （インセンティブ小） データ作成貢献の 見える化と再利用 の促進 ＋論文の根拠の透明化 整形 登録 引用 派生 論文 引用 登録 登録

Data Data Data

Review 喫緊の実践的課題 →使えるデータ化 論文の根拠データからの 共有と活用 研究立案段階からの研究管理 研究マネジメントツールの活用など OA出版事業の援用と、 引用などに基づく影響度測定 イラストの一部は以下を再利用Kratz J and Strasser C 2014  [v2; ref status: indexed, http://f1000r.es/3hi] F1000Research  2014, 3:94 (doi: 10.12688/f1000research.3979.2) 科学技術動向 2015、1/2号 http://hdl.handle.net/11035/2999

NISOによる標準化へのアプローチ

Altmetricsに関する標準・推奨実践を定めることを目的 に，スローン財団の助成を受け開始 • 第1期 – 研究者、図書館員、大学経営層、助成機関、出版関係者らの意 見を集約し、今後プロジェクトで検討すべき課題を整理 • 第2期 – 代替的な評価指標の定義の確立 – 研究成果のタイプに応じた適切な指標とその集計方法の確立 – 指標の元になるデータの質の向上のための方針立案 – 学術コミュニケーションにおける恒久的な識別子利用の推進 – ステークホルダーの種類ごとの、主なユースケースの作成 http://current.ndl.go.jp/node/27652

まとめ

• Webを通じた学術情報流通の発展は、多次元

の情報のリンクを⽣み、論⽂の被引⽤数に限ら

ない多⾯的なインパクト測定を可能にした

• また、研究成果として論⽂以外のメディアを流

通させ、そのインパクトを測ることも可能に

なった

• 今現在、altmetricsの有効性を断定的に語る

のは難しい

• これから様々な観点から、研究成果の影響度が

測られ、社会的（⼀般社会、研究者社会双⽅）

にコンセンサスを得られていくだろう

ご清聴ありがとうございました

Twitter : hayashi_kaz

Facebook, LinkedIn, Mendeley

Kazuhiro Hayashi (with a picture)

参考資料

Altmetrics

• What’s altmetrics (altmetrics.org）http://altmetrics.org/about/

• Altmetricsの可能性：ソーシャルメディアを活用した研究評価指標 / 坂東慶太http://dx.doi.org/10.1241/johokanri.55.638 • 研究論文の影響度を測定する新しい動き ―論文単位で即時かつ多 面的な測定を可能とするAltmetrics― http://hdl.handle.net/11035/2357 電子ジャーナル、学術時報流通の将来 • 論文誌の電子ジャーナルをめぐる最近の動き http://hdl.handle.net/11035/2056 • 今後の学術情報流通 : 新しいフレームワークの構築に向けた一考 察 http://ci.nii.ac.jp/naid/110009662000