투자 대비 효과가 좋은 방안: 영향 평가의 필요성

영국이 성과 기반 연구지원금 제도를 1986년 도입하였을 때 영국은 경제 불황을 겪고 공적 지원금의 부담이 증가하여 더 큰 책임을 요구하는 정책이 필요했습니다. 현재 REF라 불리는 지원금 제도는 책임을 강화했습니다. 이 제도는 지원금을 대학의 성과와 연계하여 대학에 책임을 도입하였으며 제한적인 자원의 전략적 배분 방법을 제시하였습니다.  

2014년 영향(impact)이 학계 밖에서 연구의 영향을 측정하는 지표로 도입되었습니다. 도입 이전에 영국 학계는 기초 연구가 사회의 여러 분야에 결국에는 도움이 될 것이라고 가정하였고 과학자는 그 영향을 입증하는 증거를 제시할 책임이 전혀 없었습니다. 영향 평가가 도입되고 지원금이 연구 결과보다는 연구 영향에 더 좌우됨에 따라 학계는 사회에 대한 연구의 가치를 제시할 수밖에 없게 되었습니다. 지원금(REF에 따르면 연간 약 20억 파운드)을 연구의 영향과 연계한 것은 대학과 연구자가 고등 교육 분야에서 세계적인 연구 기반의 발전에 공헌하도록 하는 강력한 성과 인센티브가 되었으며 영국의 연구 우수성을 개선하기 위한 유일한 방법이었다고 널리 받아들여졌습니다.  

REF는 영향을 “학계를 넘어 경제, 사회, 문화, 공공 정책이나 서비스, 보건, 환경, 삶의 질에 미치는 효과, 변화, 또는 이익”이라고 정의하고 있습니다(re.ukri.org). “학계를 넘어”라는 표현이 REF가 추구하는 바를 이해하는데 중요합니다. 학계 영향 또는 학술지의 영향 요인은 REF가 정의한 영향과 다릅니다. REF의 주요 목적은 다음과 같습니다. 

1. “제한적인 자원의 전략적 배분 방법을 제시한다 
2. 연구에 대한 공적 투자의 책임을 부여하고 이러한 투자의 이점들에 대한 증거를 제출한다 
3. 고등 교육 분야에서 이용하고 공적 정보를 제시하기 위해 벤치마킹 정보를 제공하고 평판 기준을 수립한다.” (re.ukri.org)

정성적 평가와 정량적 평가 

REF는 성능 척도와 전문가 평가를 기반으로 기관의 성과를 평가하는 선구적인 방법입니다. 홍콩, 호주, 캐나다, 일부 북유럽 국가도 대학 성과 평가를 위해 비슷한 체계를 채택하였으나, REF가 다른 점은 학계 외부에서 연구의 영향에 높은 가중치(REF 2014에서 20% 및 REF 2021에서 25%)를 부여하고 동료 평가가 주요 평가 방법이라는 점입니다. 

REF가 주관적 평가를 사용한 것은 전문가 평가가 정량적 지표를 보완한다는 관점과 일치합니다(Hicks 등, 2015). 하지만 이러한 접근법은 많이 채택되지 않았습니다. 덴마크, 핀란드, 스웨덴, 노르웨이는 비용이 주요 이유지만 동료 기반 연구 평가와 지원금을 연계하는 것에 이점이 있다고 생각하지 않아서 지원금 배분 결정에서 정량적 지표를 고수하였습니다. 예를 들어, 스웨덴과 네덜란드는 지원금과 관련없이 대학이 내부 전문가 패널을 활용하여 연구 평가를 독립적으로 실시하도록 허용하고 있습니다.  

전세계적 움직임 

기관 지원금을 결정할 때 성과 기반 척도를 사용하는 여러 국가에서 경쟁적 지원금으로 향해가는 전세계적 경향이 있습니다. 홍콩 및 호주는 영국을 따라 대학에 지원금 배분을 결정하는 자신만의 연구 영향 체계를 도입하였습니다(호주의 참여 및 영향 평가는 2018년에 시작하였습니다. 영향 사례 연구는 여기에서 확인할 수 있습니다). 이러한 평가는 전세계적으로 퍼져가고 있으며 대학과 사회 간의 양자 관계 구축에 도움이 되고 있습니다. 대학은 이제 “영향 담당자(impact officer)” 또는 연구 영향 증거를 제시하는 담당 팀과 같은 이전에 없는 직무에 투자하고 있습니다. 대학은 영향을 창출하는 연구에 재정 자원을 투입하고 사회와의 의사소통을 검토합니다. 이를 통해 영향 지원(impact support)은 영향의 의미와 중요성을 이해하기 위한 프로토콜, 훈련 프로그램, 컨퍼런스, 워크숍이 있는 전문 영역으로 발전하였습니다.  

높은 REF 등급은 대학의 평판에 영향을 미치고 해당 대학의 REF 점수에 크게 기여한 연구단 또는 개인의 평판에도 영향을 미칩니다. 세계적으로 평판이 높은 대학을 만들고자 하는 의제를 추진하고 있는 중국과 같은 국가에서 REF와 같은 체계가 필요할 것입니다. 

향후 방향 

대학이 연구 영향을 증명해야 한다는 생각인 영국의 관점은 일부 비판을 받기도 합니다. 비판자들은 학계 밖의 영향을 증명해야 하는 압박이 연구 자체에 초점을 잃게 하고 연구 선택의 폭을 줄인다고 지적합니다. 연구의 “중요성” 또는 “영향”과 같은 주관적인 측면에 지원금을 연계시키는 것에 문제를 제기하는 이도 있습니다. 학자들은 영향의 측정이 학문마다 크게 다르다는 점에 일반적으로 동의합니다. 많은 사람들을 살릴 수 있는 획기적인 의학적 발견을 어떻게 예술의 새로운 발견과 비교할 수 있을까요? 레스터대학교의 글은 이러한 난제를 잘 요약합니다. “역사 연구의 문화적 영향, 정치 연구의 사회적 영향, 의학 연구의 경제적 영향을 평가하는 방법은… 영향 평가와 관련하여 가장 어려운 문제 중 하나입니다” (레스터대학교 2020). 이러한 체계 내에서 연구자, 대학, 지원금 기관, 싱크탱크가 어떻게 협력하여 이러한 비판을 극복할 것인지 관찰하는 것은 흥미로운 일입니다. 

학계 외부에서는 과학적 노력이 사회에 이익을 가져와야 한다고 공통적으로 생각하는 것 같습니다. REF 및 이와 비슷한 체계들은 대학들이 이러한 관점과 최소한 일치하도록 보장합니다. 2015년 일본은 인문학과 사회과학의 지원금을 삭감하여 비판을 받은 사례처럼 (가디언 2015) 학계 및 교육의 일부 분야에 대한 재정 지원이 제한됨에 따라 자원 배분을 위해 비슷한 체계를 채택할 국가가 늘어날 것입니다. 이러한 국가들이 REF와 비슷한 체계를 시행할 것인지 아니면 해당 국가의 사회정치 및 경제적 측면을 고려하여 수정한 체계를 채택할 것인지는 앞으로 지켜봐야 할 것입니다. 영국은 2억4600만 파운드를 REF 2014에 지출했으며, 이는 저소득 및 중간소득 국가 대부분이 주저할 수 있는 금액입니다. 

대학 지원금에 재정이 고갈될 것일지 아니면 대학들과 지원 기관들이 힘을 합쳐 이를 헤쳐 나갈 혁신적인 방법을 찾게 될지, 영국에서 브렉시트가 어떻게 REF의 구조와 이행에 영향을 미칠 것인지도 지켜보아야 할 것입니다.  

REF에 따른 영향 측정 가이드 

지원금을 받고자 하는 영국 대학은 경제, 사회, 문화, 정책, 보건, 환경, 삶의 질 등 34개 주제 또는 평가 단위(UOA) 중 하나에 대한 자료를 제출해야 합니다. 이 제출 자료는 학술지 논문, 서적, 전공논문, 대학의 기타 산출물의 품질에 대한 상세 내용을 일반적으로 담고 있습니다. 외부 세계에 미치는 연구의 영향을 자세히 나타낸 사례 연구 및 추천서, 조사 결과, 재무 자료, 사례 연구의 진술들을 뒷받침하는 기타 여러 문서 형태의 감사 가능한 증거들이 포함됩니다. 대학의 연구의 일부만 사례 연구에 기여할 것으로 기대됩니다. 소규모 대학은 20개 미만의 자료를 제출하고 대규모 대학은 100개 이상의 자료를 제출해야 할 수도 있습니다.  

제출 자료는 평가 기준이 일괄적으로 적용되도록 평가를 감독하는 주요 패널 4개의 지침에 따라 각 UOA의 전문가 하위 패널이 평가합니다.  

자료: www.ref.ac.uk/2014/ 

사례 연구 작성 

REF 제출 자료는 2가지 절로 구성됩니다. A절은 기관명, 관련 인원, 영향이 발생한 기간 등을 자세히 나타냅니다. B절은 사례 연구의 본문으로서 다음을 포함합니다.  

1. 연구 영향 요약(100 단어) 
2. 기본 연구의 간략한 설명(500 단어) 
3. 관련 문헌(6개 인용) 
4. 영향의 상세 내용(750 단어) 
5. 영향을 뒷받침하는 증거—이는 발행된 출처 또는 기관/개인의 진술일 수도 있음(10개 출처) 

대학은 REF가 “추가 맥락 자료(additional contextual data)” 라고 부르는 사후평가에 사용되고 5장 내로 별도로 제공해야 하는 자료를 제출해야 합니다. 

템플릿은 표준화되어 있습니다. 예를 들어, 관련 인원은 그 기여를 자유롭게 기술(free text)하기보다는 목록화(listed)합니다. REF는 사례 연구와 관련 증거의 제공 방법 등에 대한 상세 지침을 수립하여 제출 절차를 간단하면서도 이전보다 상세하고 빈틈이 없도록 만들었습니다. 

채점 

올바른 사례 연구를 파악하는 것이 대학의 점수에 영향을 미치기 때문에 중요합니다. 킹스칼리지런던의 REF 제출 국장인 Jo Lakey는 사례 연구를 고를 때 고려해야 할 프로세스와 요인을 다음과 같이 설명합니다.  

“물리학이나 수학과 같은 일부 학문은 학계 외부 영향의 증거를 제시하기 어렵습니다. 영향이 평가 점수의 25%를 차지합니다. 사례 연구가 2건이 있으면 각각 12.5%가 됩니다. 10건의 사례 연구가 있으면 각각 2.5%입니다. 평가 단계에서 별 4개에서 1개를 받거나 전혀 받지 못할 수도 있으며, 이 점수들을 종합하여 해당 대학의 프로파일이 만들어집니다.  

UOA A에 2건의 사례 연구가 제출되었고 UOA B에 10건의 사례 연구가 되었다고 가정합시다. UOA A의 2건의 사례 연구는 별 4개를 각각 받았습니다. 영향 점수는 100% 별 4개가 됩니다. UOA B에서 10건 중 5건의 사례 연구가 별 3개(50% 별 3개)를 받았고 나머지는 별 2개(50% 별 2개)를 받았습니다. 2건의 사례 연구가 있는 UOA A가 10건이 있는 UOA B보다 점수가 좋다고 할 수 있습니다. UOA가 클수록 사례를 더 많이 제출해야 하며, 100% 별 4개가 아닌 다양한 점수를 받을 확률이 높아집니다. 그렇기 때문에 최선의 사례 연구를 제출하기 위해 준비하는데 많은 시간을 투자해야 합니다. 

점수는 공개되지 않기 때문에 어떤 사례 연구가 높은 점수를 받았는지 파악하기 어렵습니다. 해당 프로파일에 대한 총점만 언급됩니다. 프로파일이 100% 별 4개인 경우 제출한 사례 연구 모두가 별 4개를 받은 것은 분명합니다. 하지만 프로파일이 25% 별 4개, 50% 별 3개, 25% 별 2개를 받은 경우 어떠한 사례가 어떠한 점수를 받았는지 알 수 없습니다.” 

참고 문헌: 

1. “REF Impact,” Research England, accessed October 27, 2019, https://re.ukri.org/research/ref-impact/
2. Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah De Rijcke, and Ismael Rafols. “Bibliometrics: the Leiden Manifesto for research metrics.” Nature 520, no. 7548 (2015): 429-431.
3. “Measuring Impact,” University of Leicester, accessed October 27, 2019, https://www2.le.ac.uk/offices/researchsupport/impact/measuring-impact
4. Dean, Alex. “Japan’s humanities chop sends shivers down academic spines.” Last modified September 26, 2015. https://www.theguardian.com/higher-education-network/2015/sep/25/japans-humanities-chop-sends-shivers-down-academic-spines