論文を発表すると評価が下がるような指標は嫌だなぁ
研究者の評価手法として、論文発表数や被引用数などのデータから数値的に評価するための指標はいくつか知られています。
少々極端な例ですが、以下の例を考えてみます。
ある研究者の2007年度末の業績(A)と、その研究者が2008年度に一本も論文を発表しなかった場合の業績(B)、2008年度に1本論文を発表したけれども引用されなかった場合の業績(C)の3通りを考えます。
このとき、AとCのどちらが良い状況かについては意見が割れるかと思いますが、少なくともBとCを比べた場合にはCの方が良い状況と判定される*1のが望ましいのではないでしょうか。研究はその内容を世に出してこそ*2というわけで、研究成果を発表するという行為がマイナスに働くような指標は個人的には嫌ですね。
そんなことを考えたきっかけは、h-index V.S. IQp -いやそれ、もうピアレビューで良くないっすか？- - かたつむりは電子図書館の夢をみるかという記事*3。
具体的なIQpの計算式は以下の通りとなる。
h-index V.S. IQp -いやそれ、もうピアレビューで良くないっすか？- - かたつむりは電子図書館の夢をみるか
- citationsは該当著者の総被引用数
- papersは該当著者の総発表論文数
- ageは該当著者の研究者としての活動年数
- IFはインパクトファクター
- field1,field2,field3はそれぞれIQpを求める著者の１番主となる活動領域、２番目、３番目の領域
IF(field1)とかをどう求めるのかよくわかりませんが、研究者一人が論文1本書いたぐらいで大きく変動しないだろうと高をくくってcは定数とみなした場合、citationsとageが一定のときにある程度papersが大きな範囲でIQpはpapersに関する減少関数となります。どの程度papersが大きい場合でそうなるかはcの大きさによりますし、私はcがどのくらいの値になるのか知らないので正確にはわかりませんが、多分papersが10とか20とかそのくらいの現実的な値でもうIQpが減少に転じるのではないでしょうか。
もしそうだとすると、冒頭例のBとCだとCの方が評価が低く算出されてしまうわけですよね。うーむ、それでいいのかなぁ、と思ってしまいますが・・・
なお、元記事で比較されていたh-indexという別の指標の場合、上記のような問題は起こらないようですね。
