「インパクトファクター至上主義の弊害」

【宮川】 僕の提案する客観的な研究者評価の指標には雑誌のインパクトファクターは入れていません。あれは絶対入れるべきではない。掲載ジャーナルのインパクトファクターは「ジャーナル評価」の指標なので、雑誌の評価軸としてはいいのです。

雑誌のエディターが雑誌インパクトファクターをあげようと努力するのには意味があります。しかし、個人の研究者やその人の論文の評価軸としては使ってはまずい。ベターなのは個々の論文の引用数です。

【湯浅】 そうですね。それは間違いないと思います。

【宮川】 雑誌の評価は1つ1つの論文のその引用数をもとに計算されているものなのですから、その指標で逆に論文レベルのインパクトの高さを評価するのは本末転倒です。今は雑誌インパクトファクター至上主義ですよね。

【湯浅】 ええ。

【宮川】 科研費の評価には、実際には雑誌インパクトファクターは入っていません。にもかかわらず実質的にはインパクトファクターを見て評価者は採点しています。1人の評価者が100も申請書も見ていたら細かく内容を精査するのは事実上困難なので、業績の中にどれぐらいのインパクトファクターの雑誌があるかっていうのを脳内で計算して、その印象で評価を決めている部分があります。そうやって評価するとだいたいほかの人と評価が合いますから。

「評価者の評価」、つまり評価者の評価クオリティのアセスメントは今でも一応やっているのですけれど、それがどうやって決まるかと言うと、「ほかの人とかけ離れてないか」という評価ということらしいです。

【湯浅】 というと？

【宮川】 ある評価者に対して、その人以外の評価者が2〜5人とかいますよね。ある申請書に他の人たちが良い点をつけててその人だけ悪い点つけている、というのがたくさんあると、「あれ、この人はきちんと見てないのではないか？」となります。そういう基準で機械的に評価している部分があるらしいのです。

【湯浅】 そうなのですか。

【宮川】 そういうものであるという話を聞いたことがあります。それがもし本当だとすると、では楽をして「評価者の評価」に引っかからないようにするにはどうしようかと、普通思いますよね？

【湯浅】 まあそうですね。

【宮川】 そこで、申請者の業績の情報を見て、これまでに掲載されたジャーナルのインパクトファクターを出して足し算して、その合計値で申請者を順番に並べて上位から選べば他の評価者と評点がかけ離れません、ほぼ確実に。それが一番楽です。評点をかけ離れないようにするためだけであれば、申請書の内容を見る必要はほとんどないといっても過言ではないでしょう。この方法で十分他の評価者による評価とかけ離れない評価をすることができますから。

【湯浅】 雑誌インパクトファクターで研究を評価するって、ある意味では出身大学で評価するのと似たようなものですよね。

【宮川】 似たようなものです。その雑誌のレビュアー、エディターに評価を丸投げしているのと同じなのです。

僕、提案しようと思っているのですが、どなたかそういう解析をやってみてくれないでしょうか。コンピュータを使って申請者の業績リストのジャーナル・インパクトファクターの合計値を出して、特にScienceとかNatureなんていうハイ・インパクトジャーナルに計算上、重み付けをして、申請書の研究計画は全く考慮にいれず評点を出します。その評点が今行われている実際の評価者による科研費の評点とどれぐらい相関があるのかを解析して欲しいです。

【湯浅】  ああ、なるほど。

【宮川】 おそらく相当高い相関になりますよ、これは。結構面白いレポートになると思います。もしそうなれば、評価者はいらない！ という話になりますから。

【湯浅】 まあ、そんな結果が出たらそう言えるかもしれないですね。

【宮川】 そういうデータがもし得られたとしましょう。その場合、機械的に決めてしまう方法で良いかと言えば、別にそれで良いとも言えるでしょう。雑誌インパクトファクターを機械的に使うほうが、今の評価システムよりはむしろベターではないでしょうか。コネクションが入り込まなくなりますので。でも僕としては雑誌インパクトファクターは元来使ってはダメで、h-indexとか、ちゃんと論文レベルの研究力を図る評価指標を使っていただきたいですね。

【湯浅】 うんうん。

【宮川】 雑誌インパクトファクターの高いジャーナル至上主義だと、捏造の動機付けにもなってしまいますし。

【湯浅】 そうですよね、それも問題になっていますからね。

【宮川】 捏造が起こる最大の背景の一つは、もちろん捏造する人が一番悪いと言うのは当然として置いておいて、インパクトファクターが高いジャーナルの存在なのだと思います。こういうデータがでたら掲載します、という要求がすごいですから。それは、捏造をしたくなる気持ちが湧いても、やむを得ない部分があると思います。それで研究費から人事から、人生がすべて決まるのですから。

【湯浅】 ある意味では、研究者はScience、Natureのために論文を書いているかのような状況が作り上げられているってことですか。

【宮川】 Science、Natureが業績リストに入っていた場合、普通の研究費の申請はほぼ確実に通りますよ。Science、Natureがあったらもう他の書類の部分などはほとんど見ないでしょう、評価者は。ほとんど何も見ない。そのまま通し、Science、Natureがあったら、ということも多々あるのは間違いないでしょう。

【湯浅】 なるほどー。

【宮川】 まずそういう論文があれば、内容をよく見るリストから除外します。メジャージャーナルがあれば、それはもう上位に決定。それから人事でもScience、Natureがある人を採用しますから。Science、Natureがあれば勝ち組に入ってしまうのです、捏造しようが何しようが。だから捏造をする人が出てきてしまう、という背景がある。

実際、Science 、Natureに掲載された論文が一番捏造データの比率が高いってデータも出ています。ジャーナルのインパクトファクターの高さと捏造の多さというのに正の相関関係があるという研究結果が報告されています。

【湯浅】 そうですか。

【宮川】 論文が掲載されること自体の敷居が異常に高い、ということはネット時代になる前の、旧時代のなごりみたいなものでしょう。紙媒体で掲載スペースが限られていたころの名残です。もう今意味がないでしょう。

【湯浅】 そうですよね、今オープンアクセスもPLoS Oneとかでもすごい数の論文を出していますよね。そうすると、先生がおっしゃるように雑誌のインパクトファクターじゃなくて自分の論文が何回引用されたかの指標のほうがより適切ということですよね。いくらScience、Natureに掲載されたからといって、その論文が高く評価されたとは限らないのですから。

【宮川】 はい。極端な話、捏造してウソの結果を報告したら、リプリケート（実験結果の再現）できず、同じ結果が再現されないですから、当然引用も徐々にされなくなっていくわけです。

【湯浅】 そうですよね。それをやってしまうと、その後もその研究者は捏造して発表したデータをベースに研究をしていかなければなりますね。

【宮川】 そう。でも捏造のモチベーションはググッと減るはずです、Science、Natureのような高インパクトファクターのジャーナルへの論文掲載を過大視することさえなくなれば。

宮川剛教授インタビュー（１３）≫