研究にも“費用対効果”が 求められる時代へ─ インパクト評価がやってきた!

イギリスは1986年に、実績に基づく研究費助成制度を開始した。この時のイギリス経済は混迷の中にあり、公的資金への制約も厳しかったことから、政府としてはその使途について一層の説明を求める必要があったのだ。そこで採用されたのが、現在ではResearch Excellence Framework（REF）と呼ばれる、研究費助成に係る制度である。実績と予算配分を関連づけたことで、大学側に説明義務が生まれ、限りある資金の戦略的割り当ても可能となった。

2014年、「インパクト」という評価指標が導入された。研究がアカデミアの外の世界へ与える影響を測定するものだ。これより前のイギリスでは、基礎研究は最終的に社会の各方面に寄与するものだという前提のもと、アカデミアが運営されていた。そのため、自身の研究が社会に与える影響について、その根拠をあえて示す責任など、研究者は一切負っていなかった。しかしインパクトという指標が導入され、研究の結果だけでなくその影響に対する評価も含まれたことで、アカデミアは、研究が社会に提供する価値を説明する必要に迫られたのだ。REFによれば、年間20億ポンドが大学機関へ投入される。研究によるインパクトの評価がこの予算の配分に紐づくとなれば、大学や研究者は資金の獲得に向けて総力を結集する。その結果、高等教育部門において世界規模の研究基盤が発達する。これこそが、イギリスにおける研究の卓越性に磨きをかける唯一の方法だと、広く意見が一致した。

REFにおける「インパクト」は、「『アカデミアの枠を超えて』、経済、社会、文化、公共政策や公共サービス、健康、生活環境や生活の質に与える影響や変化、または利益」と定義されている（re.ukri.org）。「アカデミアの枠を超えて」という部分が、REFの趣旨を理解するうえで非常に重要だ。REFの「インパクト」は、学術誌におけるインパクト・ファクターなど、学問的なインパクトとは意図するところが明確に異なる。以下にREFの主要な目的を記述する。

1. 研究助成金を選択的に分配すること
2. 研究に公的資金を投入するにあたって説明責任を課し、投資の結果得られる利益の根拠を明らかにすること
3. ベンチマーク情報を提供して大学の評判を測る尺度を明確にし、高等教育部門で使用するとともに一般へも公開すること

定性評価と定量評価

あらかじめ設けた測定基準と専門家による評定をもとに大学の実績を評価するにあたり、REFは先駆的な手法だった。大学の実績評価に同様の枠組みを採用している国は、香港、オーストラリア、カナダ、そしてスカンジナビア諸国の中にもある。しかし英国のREFが他の国のものと違っているのは、研究がアカデミアの外へもたらすインパクトに重い評価比重をおき（2014年は20%、2021年は25%）、その評価においてはピア・レビューが重要な役割を果たすという点だ。

REFは主観的評価を取り入れているといえるが、これは、「専門家による評価で定量的指標を補完すべきである（Hicks et al., 2015）」という考え方と一致している。しかし、このアプローチをとっている国は多くない。デンマーク、フィンランド、スウェーデン、そしてノルウェーといった国々では、資金の配分を決定するにあたり、定量的指標が依然として用いられている。コストが主な理由だが、ピア・レビューの結果と資金配分とを結びつけることに、利点を見出していないからでもある。例えばスウェーデンやオランダでは、内部の専門家パネルの協力のもと、各大学が独自に研究評価を行ってよいことになっているが、その結果によって得られる研究費が左右されることはない。

世界の動向

実績に基づく測定基準を助成制度の運用に取り入れる国が増え、大学の資金調達に競争的な要素を組み込もうとする傾向が世界的にも強まっている。香港やオーストラリアはイギリスを手本とし、研究によるインパクトを評価する独自の枠組みを導入して、大学への資金配分を調整している（オーストラリア版インパクト評価、Engagement and Impact Assessmentは2018年に始まった）。こうした評価制度は世界規模で広がりを見せており、大学と社会の関係構築に一役かっているといえる。大学は今、「インパクト・オフィサー」といった職種や、研究のインパクトについて根拠などを整理する専門チームなど、新しい機能の設置に投資している。大学に求められているのは、インパクトを生み出す研究に資金を活用し、社会との関係を見直すことでもあるのだ。こうした経緯から、専門家の領域にインパクトに関するサポートが入り込み、進化を遂げてきた。手順書の整備やトレーニングの実施だけでなく、インパクトの意義について理解を促そうと、ワークショップなども開催されている。

REFで高評価を得ると大学の評判が上がる。結果、その評価に大きく貢献した研究者や研究チームの評判も上がる。中国の大学は世界的に高評価を得ることに貪欲で、国としてもそうした姿勢を積極的に奨励している。そのような国に必要なのは、まさにREFのような枠組みなのかもしれない。

今後進むべき道

大学が研究のインパクトを証明するという考え、さらにいえばイギリスのREFは、批判も受けてきた。批判の一つは、学術界以外での影響力を証明することへのプレッシャーにより、研究そのものに焦点が当てられず、研究の選択の幅が狭められる危険性があることだ。また、研究の「重要性」や「インパクト」といった主観的指標に資金配分が左右されることについて、疑問の目を向ける人もいる。インパクトを測定する尺度が分野によって大きく異なるという点は、概してアカデミアでも認識されている。人命を救うような医学的大躍進がもたらす影響と、芸術分野における新しい発見が、果たして比較対象になるだろうか。レスター大学が、この難題をうまくまとめて表現している。「歴史研究による文化的インパクト、政治研究による社会的インパクト、あるいは医学研究による経済的インパクトをどう評価するか――インパクトについて議論するにあたり、これは最大の難問のひとつといえる」（3Measuring Impact,” University of Leicester）。こうした枠組みを支える研究者、大学、助成機関、そしてシンクタンクが、このような批判に対応するため、どのように連携していくのか、その展開が注目される。

アカデミアの外では、科学研究は社会に利益をもたらすものであって然るべきという見方が多くを占めるようだ。REFや類似の枠組みを活用すれば、少なくとも、大学の中と外で足並みが揃う。2015年、人文科学や社会科学分野への投資を大幅に削減すると日本が決定したことを受け、批判が巻き起こった。（４Dean, Alex. “Japan’s humanities chop sends shivers down academic spines.” )研究や教育への財政支援を、いずれかの分野で削減しなければならない――こうした状況下で資金配分に透明性を持たせるため、同様の枠組みを採用せざるを得ない国は増えていくだろう。そうした国々は、REFを模倣し、極めて近いかたちで運用するだろうか。あるいは、自国の社会、政治、そして経済などの状況を勘案し、手を加えたうえで適用するだろうか。現時点では、どちらともいえない。イギリスは、REF 2014に2億4600万ポンドを拠出した。中低所得経済圏では二の足を踏んでしまう数字かもしれない。

イギリスに関しては、EU離脱問題がREFの体系や運用にどの程度影響を与えるか、注視していく必要がある。財政が枯渇した場合、大学への資金提供が破綻してしまうだろうか。あるいは、大学と助成機関がタッグを組み、誰も考えつかなかった方法で切り抜ける可能性もある。

REFにおけるインパクトの測定

研究資金の獲得を目指すイギリスの大学は、34の研究領域からなる評価ユニット（Units of Assessment/UOA）のもと、必要書類を提出する。評価ユニットの領域は、経済、社会、文化、政策、保健衛生、環境、そして生活の質に関わるものなど多岐にわたる。通常提出する書類には、次のようなものがある。まず、所属の研究者が執筆したジャーナルの記事、書籍、あるいは論文といった研究のアウトプットについて、その質を審査するための詳細情報だ。そして、研究が外の世界に与えたインパクトを詳述したケース・スタディ、加えてその裏付けとなる資料を添付する必要もある。関連する証明書、調査結果、財務資料以外にも、ケース・スタディの記述を証明するものであれば形態に制限はないが、審査の材料として適当でなければならない。各大学は一部の研究についてのみケース・スタディを準備すればよいが、大学の規模によって必要件数は異なる。求められる件数が20に満たない小規模大学がある一方で、規模の大きい大学では100件を超える場合もある。

提出した書類は、各評価ユニットの専門家サブ・パネルによって審査される。サブ・パネルは4つのメイン・パネルの下に設置され、メイン・パネルは、審査において一貫した基準や尺度が確実に適用されるよう監督を行う。REFメトリックには、科学研究および学術研究の質と、幅広い影響を評価するための測定値と統計的方法が含まれる。より具体的には、提出資料は以下の3つの領域で評価される。

ケース・スタディの作成

REFへ提出するケース・スタディには、2つのセクションがある。セクションAには、大学名、参加スタッフ、インパクトが生じた時期などを列記する。ケース・スタディの骨子となるセクションBには、次のような点を記載する。

1. 研究によるインパクトの要約（100ワード）
2. ベースとなった研究の簡単な説明（500ワード）
3. 関連文献（6文献）
4. インパクトの詳細（750ワード）
5. インパクトの裏付けとなる根拠。出版物でも、関係する

組織や個人による証言でも構わない（10件）

「付加的背景情報（additional contextual data）」という名のセクションもあるが、ここに記載する情報は事後評価の際に使用されるもので、ケース・スタディ1件あたりの上限である5ページには含まれていない。

ケース・スタディの提出には、統一されたテンプレートを使用する。例えば、参加スタッフを記載する欄はリスト形式で、各人の貢献について自由に記述するなどということはできない。ケース・スタディとその裏付け資料の提出方法については、REFの事務局が綿密なガイドラインを整備した。これにより、従来と比べ、簡潔なプロセスながらも詳細で漏れのない提出書類作成が可能となった。
評点付け（ジョー・レイキー氏より）

適切なケース・スタディの選定は極めて重要である。大学が受ける評点に直結するためだ。キングス・カレッジ・ロンドンでREF対応を主導するジョー・レイキー氏の話から、ケース・スタディ選定の際に考慮すべき要素や絞り込みのプロセスについて、いくつかの手がかりを知ることができる。

「物理や数学といった領域では、アカデミアの外へ与えるインパクトについて根拠を示すことが比較的難しいです。インパクト評価の割合は2014年には20%、2021年には全体の25%を占めるため、ケース・スタディを2件提出すれば1件あたりの重みは12.5%、10件提出すれば1件あたり2.5%になります。各ケース・スタディには、審査段階で1*～4*のいずれかが付与されます。あるいは「該当なし」とされることもあります。この評点を合算したものが、大学の総合的な評価に反映されます。

例えば、評価ユニットAで2件、評価ユニットBで10件のケース・スタディを提出したとします。評価ユニットAの2件は両方とも4*を獲得したので、インパクトの評点は「4*-100%」となります。一方、評価ユニットBは10件中3*と2*が5件ずつで、評点は「3*-50%、2*-50%」となりました。この場合、10件を提出した評価ユニットBよりも、2件を提出した評価ユニットAの方が、結果への貢献度がはるかに高かったと結論づけて間違いありません。評価ユニットの網羅する範囲が広ければ広いほど、多くのケース・スタディを提出しなければならないうえに評点がばらける可能性も高まり、そうなる

「4*-100%」の評点を望むのは困難です。提出するケース・スタディは、最大限の効果を発揮するものでなければなりません。準備に多大な時間を投資する理由がお分かりいただけると思います。

評点は総合結果に記載されるものの、詳細は開示されないため、どのケース・スタディが高評価を得たのか把握することは簡単ではありません。「4*-100%」という結果であれば、提出したケース・スタディすべてが4*を獲得したと明白にわかります。しかし、「4*-25%、3*-50%、2*-25%」という結果だった場合、どのケース・スタディが何を獲得したのか、知ることはできないのです。」

参考資料：
1. “REF Impact,” Research England, accessed October27, 2019, https://re.ukri.org/research/ref-impact/
2. Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah De Rijcke, and Ismael Rafols. “Bibliometrics: the Leiden Manifesto for research metrics.” Nature 520, no. 7548 (2015): 429-431.
3.“Measuring Impact,” University of Leicester, accessed October 27, 2019, https://www2.le.ac.uk/ offices/researchsupport/impact/measuring-impact 4. Dean, Alex. “Japan’s humanities chop sends shivers  down academic spines.” Last modified September 26, 2015. https://www.theguardian.com/higher-education-network/2015/sep/25/japans-humanities-chop-sends-shivers-down-academic-spines

雑誌「ScienceTalks」の「インパクト評価へ向け活気づく取り組み REF 2014から大学が得たものとは」より転載。