JAIST Repository: 研究評価における相対的引用度の役割と利用上の留意点(政策評価・研究評価)

JAIST Repository

https://dspace.jaist.ac.jp/

Title

研究評価における相対的引用度の役割と利用上の留意

点(政策評価・研究評価)

Author(s)

大野, 博教

Citation

年次学術大会講演要旨集, 18: 506-509

Issue Date

2003-11-07

Type

Conference Paper

Text version

publisher

URL

http://hdl.handle.net/10119/6938

Rights

本著作物は研究・技術計画学会の許可のもとに掲載す

るものです。This material is posted here with

permission of the Japan Society for Science

Policy and Research Management.

2C24

研究評価における 相対的引用度の 役割と利用上の 留意点

0

大野Ⅰ

専教傭 中肋

1 . はじめに

研究論文を主体とする 研究業績評価における 文献計量学的手法

(

以下

B

M 法と略

称 ) の 利用は、 ピア・レビュ 一による評価を 補うもの、 あ るいはピア・レビューを 支援するものとして、 その存在価値が 広く認められつつあ る。 この場合、 B M 法で は

通常、 学術誌への発表論文教をもって、 研究の生産性を 示す尺度として、 また論

文 1 篇 あ

たりの

被

引用数、 すなわち引用度をもってその 論文のインパクトを 示す

尺 度

としている。 しかしながら、 論文の被引用数は 専門分野によって、 また学術 詰め

種類によって 大きく異なり、 この相違は場合によっては 2 桁にも達する。 したがっ て 、 論文の被引用数の 絶対値は、

研究活動のインパクトを

比較する際に、 必、 ずしも

適切な尺度とならない 場合があ る。 この欠点を補

う

ものとして、 根岸らは、 大学・

研究機関の研究活動の 評価の際、 研究分野別の 平均引用度に 対する各大学の 引用度

の 倍率を指数化したもの、

すなむち引用度指数を

算出した 1 ) 。 これは一種の 相対的

引用度であ るが、 研究分野別の 平均引用度を 求めるためにはかなり

はう

大な作業

量 が

必要となる。 そこで、 各論文毎に、 その論文を掲載した 学術誌の期待板引用率

(ExpectedCitation Rate 、 以下 E C R と略称 ) に対するその 論文の被引用数の 比、 す

なむち相対的引用度を 求め、 これを集計することによって 論文辞あ るいは研究グ

ループの研究活動のインパクトを 求めることを

試みた。 なお、 Science citation

Index ( 以下 S C I と略称 ) の創始者、 E. Garfield や S C I の作成 九 の Tomson ISI

社の

Pendleburry

は論文の被引用数を 「 E C R と比較する」 とのべ、 平定量的扱い

にとどまっている

2 , 3 ) 。 したがって、

ここに提案する

「 比 」 とは、

広く認められた

名称は無いが、 便宜上、 この比を相対的引用度

(Relative

Citation Rate@ R C R

と略称 ) と 呼ぶこととする。 2 .

相対的引用度の

算出

相対的引用度

( R C

R) 算出の基礎となる 期待板引用率は

図 1

に示すよ

う

に学術

誌 によって大きく 異なる。 Mar Poll B 誌では発行 1 年間の E C R は 0 ・ 057 であ り、 1 年以内に掲載された 論文が 1 回引用されれば R C R は

17.5

という突出した 値と なる。 したがって、 R C R を算出するためのデータ 採取年数、 す な れ ち窓 (window) には R C R が安定するまでの 値をとる必要があ る。 この様子は図 2 に示す通りであ り 、 一応 5 年ていどが適当と 考えられている。 なお、 その根拠は示されていないが、 Pendleburry も 5 年という数字を 示している。

図 ] 期待 被 引用率の例 250 200 150 100 50

0 ぎ仮 珪石母校年 10

図 2 相対的引用度の 舞 年 ま化 ( 窓 10 年の RCR に対する 比 )

「

ll

10

経過年数 数字は愛媛大環境保護部の 主要論文 54 篇からの平均値

経過年数

論文が複数の

場合、

特に種類が異なる 学術誌の論文の

R C R

を総合して算出する

ためにはⅡ

1 )

複数の学術

誌 があ たかも 1

種類の学術

誌 であ

るかのように

E C R を 算定する、 ( 2 )

各学術

誌 毎に E C R を求め、

これらの算術平均をもって 関連学術

詰 め E C R

とするⅡ

3 )

各論文の

R C R

の算術平均をもって 複数の論文の

平均 R C R とする、 の 3 つの方法が考えられる。

これらの方法をそれぞれ

R い R " 、 R m とし て 、

以下に算出式を

示す。 ) 。

R@ ， -

Ⅰ ( Ⅰ )

l-1

笘 一

A,

，

/ Ⅰ ・

Z

一 一 1

N,

下 」、 ノ 一 4, 」、 m

論文教ならびにこれらの

論文を掲載した

学術 誌 の 数 (

重複を含む

) a,, 」 : J

番目の学術

誌

に掲載された 論文が土牢

目

に受けた引用数

A 。 ，， : J

番目の学術誌の 発行年間の全論文の

王 年 目の 絵被 引用数 N, : J

番目の学術誌の 当該発行年間の 総論文教

j 笘 Ⅰ

li Z

Ⅰ l

a>,J

/ m ・ 1-1 Z 一 a. R n =

・ く 2 )

(Z

ゴーⅠⅠ

一一

・

Z

-1

A,

，

/

N,)

m

R@m@==@ @@ (@ @@ a ，， ,@ /@ @@A 。 ， ,@ /@ N,)@ /@ m

j 二 I i Ⅰ 1 i Ⅰ 1 ( 3 )

上記の 3 種類の式の中、 R ,

は最もオーソドックスな

方法であ

るが、

最も手間が

かかる。 Ⅱはやや簡便であ るが、 複数の学術誌の 間で E C R に大きな差があ る場合 に、 小さい E C R

が大きい

E C R

にマスクされてしまう 危うさがあ

る。 R " は 最も

簡便であ

るが R .

および

R n

に対して実際に 即したケース・スタディを

試みる 必 、 要が あ る。 3

つの方法の試算の

対象として、 国のあ

るプロジェクトで 得られた約

30 篇の 論文を選び、 発表 午が 同じ教籍ずつの 論文辞に分けて 比較を行った。 なお引用 デ一 タ 採取の 「 窓 」 としては、 3 年、 4

年および

5 年の 3 種類を選んだ。

試算の結果か

ら 3

つの計算式の

間で相関を調べると、

どの窓に対しても

R 。 と R m

の間で最も高い

相関係数が得られた。 そこで、 算出の簡便さと 論文の組み合わせに 対する融通性と から見て 、 R " が 最も良いと考えられる。 対 1

和衷

3 的 引用度の応用例 相対的引用度の 出 現 割合 RCR

割合、 %

1 以上 13 .4 3 以上 5 .9 5 以上 2 .5 7 以上 1.2

0 ． 7 用 Ⅰ コ ノ

㏄

り

tUr も

で

、 84 、 85 年 ょり 収録 目立たない論 文

27.0 25.0 20.0 穏 15.0 軽一 " Ⅰ ' 宝 10.0 女 年

5.0

0 ・ 0 が

- 一 - - 一 "" " 一 口小柴博士の 論文 ■田中氏の論文 目利根川博士の 論文

牛ル上，，

相対的引用度を 求めると、 驚く程 き

わ

論文発表

ト Ⅰ。 @

の、 Ⅰ @

め

o

Ⅲ

の

?

後の経過年数 立ってくる場合があ る。 その実例とし て、 昨年ノーベル 化学賞を受賞された よ お 寅引 - 史的 宙対 - ル相一 べの - 一紙 Ⅱ び - 母

田中氏の状況を

図 3

および図

4 す 才ド 5 ) 。

相対的

その論文の 論文の被 引 とであ る。 分布は寡占 偏りがあ る 6 )o Nature す よ う に、 全体の中の

引被用

し分

こ誌

R Ⅱ

が 1 数が 平均 なが あ り 留意 にと が 1 - セこ と b 当該 値に ら、 、 分 する ると

/ ト コ @ ト 、 ぅ ことは、

学術講中の

相当するこ 被 引用数の 布に大きな

必要があ

る 、 表 1 に示 の論文は、 今に過ぎず、 180 160 140 120

00000 - 示郎 GH 細

、 柴博 士 ■ 田中氏 口 利根川博モ

Ⅱ・ コ

10

以上の論文は

1

パーセント以下で

?

@0

O

Ⅱ）

のⅠ

Ⅰ 飴ノ

@N

㏄ 寸 イ @ り 寸 ?

の、

：め ノ ト の @ Ⅰ ㏄Ⅰ

、ト

の @ ㎡ あ る。 そこで、

田中氏のように

R C R 論文発表後の 経過年数 が 20 を超すということは、 極めてまれ な事象であ ると理解される。 図 4 小柴博士と田中氏のノーベル 俺受 拙論文およ _{び 利根川神 土の Review 紙の被引用例}

4 .

おわりに

研究機関や研究グループの

研究活動の評価に R C R を利用する場合に

次のような

利点があ る。 ( 1 ) 専門分野に拘束されない ( 2 ) 関係する研究者個人の 各論文の R C R を集積すれば よ く、 専門分野別の 平 均引用度を求める 必要がない。 すな む ち、 R C R の算出は自己完結型であ る 。 なお、 この場合、 R C R

算出のべ

ー スとなる E C R

は安定領域に 入っていることが

必要であ り、 このためにはデータ 検索の窓を少なくとも 5

年にすることが

望ましい。 また研究者個人の 業績評価に R C R を利用することも 基本的には可能であ るが、 留 意 すべき点を挙げると 次の通りであ る。 ( 1 ) 適切なクライテリアを

設けること

( 2 ) 利用目的を明確にすること なお、 これら 2 点については、 今後ケース，スタディを 積み重ねて、

具体的に明

赤 できるよ う にしたいと考えている。 稿を終えるにあ たり、 Nature

誌に関する種々のデータはトムソンコーポレーショ

ン ( 株 ) の宮人楊子氏から 提供されたことを 付記する。 参考文献 1 ) 「大学ランキンバ ， 2003 年版」，

朝日新聞社

2 ) Garfield, E

Current

Contents,

Sep ， 12(1994)

3 ) Pendleburry, D A ISI

公開シンポジウム

講演要旨， 10 月 8 日 (2002)

4 )

大野博教

化学工学， 67, (8), pp. 463(2003)

5 )

大野博教

学士会会報， N0. 840 ， pp. l15(2003 一 f )