관련 기사 링크: https://www.universiteitleiden.nl/en/news/2019/05/knowledge-production-must-fundamentally-change
* 강의는 네덜란드어로 진행했기 때문에 내가 읽은 영어 강의록 역시 네덜란드어 원본의 번역본이다. 내가 네덜란드어를 할 줄 모르기 때문에 번역본을 번역할 수 밖에 없었다. 다만 원문 확인이 필요할 때는 네덜란드어 원본을 구글 번역기를 통해 확인했다.
** 원문 파일에서는 강의록인만큼 참고문헌을 단순히 문장 끝에 [학자 이름]으로 달고 글 말미에 목록을 제공했다. 나는 통상 인용하는 방식을 사용했고, 필요 시 역주를 달았다.
연구평가와 연구수행환경 점검하기
So try it one more time (그러니 한 번 더해보자고)
With feeling darlin', take it from the top (그 느낌과 함께, 처음부터 다시 말야)
--- Kris Kristofferson, Once More with Feeling
저명하신 총장님, 존경하는 동료들, 친애하는 친구들과 가족들, 소중한 청중 여러분.
저는 지난 2017년 10월 30일에 한 이탈리아 해양생물학자로부터 다소 충격적인 이메일을 한 통 받은 바 있습니다. Ferdinando Boero는 '꽃'이라고도 불리는 해파리 떼 출현을 연구하는 학자로, 자세하게는 최근 몇 해동안 부쩍 늘어난 해파리 떼 출현 시기의 원인을 추적하고 있습니다. 그는 그의 연구결과를 해당 연구분야 핵심 학술지에 게재할 수 없었는데, 때문에 몇 가지 문제를 우려하고 있는 듯 보였습니다. 첫째로, 그가 관찰한 비정상적인 해파리 떼 출현 시기는 해양생태계에 문제가 있다는 것을 보여주는 중요한 조짐인만큼 절대 사소한 연구결과가 아니었습니다. 다만 그 정확한 의미를 파악하지 못했을 뿐입니다. 둘째로, 해파리 떼가 출현하면 쏘임사고가 느는 만큼 해당 현상은 관광 산업에 부정적인 영향을 미칠 것이 분명할 뿐만 아니라 어업 종사자 역시 해파리 떼가 생선 알과 어린 생선을 잡아먹어 힘들어 하고 있었습니다. 마지막으로, 해파리는 해초 성장을 방해합니다. 즉, 해파리는 생태계에 큰 영향을 미친다는 겁니다.
Boero는 생명과학 분야에서 연구성과지표의 역할을 연구한 제 논문을 읽고 제게 연락을 해온 것이었습니다. 제 논문은 오늘날 학문이 제대로 평가받지 못하고 있다는 그의 생각을 확인해줬습니다. 그는 그의 분야에 자리잡은 다소 엄격한 규범이 이탈리아 학문연구시스템에도 반영되어 그가 보기엔 중요한 기여조차 연구성과에 포함되지 않는다고 했습니다. 예를 들어, 그는 안정적으로 자리잡은 연구자로서 상당한 사회적 관련성을 가지는 정책보고서 작성에도 자주 참여하곤 하는데, 그가 그 보고서를 평가를 위한 실적으로 제출하면 그가 있는 대학에 피해를 끼칠 수도 있다는 겁니다. 정책보고서는 동료심사를 하는 국제 학술지에 출판되지도, 영향력 지수(Journal Impact Factor; 학술지가 얼마나 자주 인용되는지 나타내는 지표)도 없기 때문입니다:
하지만 저는 제가 여태껏 게재한 논문보다 그 보고서가 훨씬 가치있는 업적이라는 점을 분명히 하고 싶습니다. 그럼에도 불구하고 현재 연구평가구조는 업적의 실제 가치를 평가하고 있지 않습니다. 저는 학생들을 위해 설명서를 작성하고, 정책입안자를 위해 과학 자문을 해왔지만 학계에서는 아무 것도 인정해주지 않아요. 또 저는 필요 이상으로 동료들이 쓴 논문에 제 이름을 추가하지 않으려 하기 때문에 제 논문 게재 횟수는 줄고 있어요. 현재 연구평가기준에 따르면 저는 과거보다 게으른 셈이죠!
저는 평가와 지식생산 간 상호작용을 연구하는데 관심이 큽니다. 따라서 저는 Boero가 보낸 이메일을 연구자료이자 근거 삼아 추후 연구를 계속하고자 합니다.
평가는 오늘날 대학이 돌아가는 데에 있어 영속적인 요소로 자리잡았습니다. 여기에는 여러가지 이유가 있습니다. 그 중 하나는 매우 단순한데, 대학이나 연구소 등 지식기관 역시 각종 순위와 등급 매기기 홍수로 이루어진 '평가 사회'의 일부분이기 때문입니다. (Dahler-Larsen, 2012) 인터넷이 개발된 후 홍수는 더 커지기만 했습니다. 식당부터 호텔, 교육기관까지도 우리는 모두 그 숫자가 떨어지기를 바라듯이 계속해서 점수를 매기고, 계산하고, 순위를 냅니다. 이련 현상은 공적 영역에까지 확장되었습니다. 공공화장실에 가게 된다면 한번 눈여겨 보십시오. 이제는 '저희 서비스에 얼마나 만족하셨습니까?'라는 질문과 함께 화장실 관리자를 초록색, 주황색, 빨간색 얼굴 표시로 된 설문조사를 하는 것도 일반적인 일이 되었습니다. 입력 정보가 어떤 결과를 가져올지 궁금한데요. 결과와 상관없이 설문조사가 있다는 것만으로 청소부가 규율을 경험할 거라는 건 어렵지 않게 상상할 수 있습니다. 이처럼 저는 이런 모든 평가와 순위 매기는 행위들이 어떤 결과를 가져오는지, 특히 학문 연구에 어떤 영향을 미치는지에 관심이 있습니다.
하지만 보다 본질적으로 제 연구는 좁은 의미에서 평가와 계산, 측정만을 다루는 건 아닙니다. 저와 제 연구그룹은 한편으로는 지식 생산을 다루고, 다른 한편으로는 현대 학문 관리 및 조직 방식을 다루며 둘을 연결짓는 작업을 하고 있습니다. 연구비 지원 구조가 크게 변하고 있다는 점과 (Whitley, 2007) 연구업무가 점점 형식적으로 변하고 있다는 점을 고려한다면 이런 폭넓은 관점을 유지하는 건 매우 중요한 일입니다. 연구는 갈수록 외부 자금을 조달해오는 형태로 수행되며, 과제 기간은 점점 짧아지고 있고, 때문에 연구자들은 경쟁에 내몰리게 됩니다. 특히 이런 연구과제는 대부분 엄격한 과제관리 및 통제 하에 이루어지고 있습니다. (Fowler et al., 2015) 이렇게 변화하는 자금 지원 구조, 조직 형태, 정치적-사회적 체계와 불가분하게 연결되어 있다는 점에서 평가는 사회에서 핵심적인 절차라고 볼 수 있습니다.
제 임기동안 저는 현재 학계가 처한 상황을 둘러싼 국제적인 우려와 논의를 다루고자 합니다. 저는 연구 환경에 따라 연구 내용이 어떻게 변하는지 분석하는 것을 목표로 하고자 합니다. 사회적 절차만을 다루겠다는 뜻이 아닙니다. Boero가 연구하는 해파리 역시 학문적 또는 대중적 토론 주제가 될 수 있는만큼 중요하기 때문입니다. 우리는 단순히 과학자와 그 제도의 사회학을 연구하는 것이 아니라, 과학연구 내용의 사회학 역시 연구할 것입니다. (Latour, 1988) 우리는 과학자가 놓인 상황 뿐만 아니라 그의 연구주제가 처한 상황 역시 이해하고 싶습니다.
이를 위해서는 세가지 중심 질문을 던져야만 합니다.
1) 우리는 과학과 학문을 어떻게 평가하는가?
사람들은 형식적 혹은 비형식적 평가 체계에서 연구의 질(quality), 사회관련성(societal relevance), 좋은 거버넌스, 특정 협업 방식의 중요성, 경력을 무엇이라 생각하고 어떻게 이해하고 있을까요? 이해관계자는 수월성(excellence)이나 관련성(relevance)이라는 말을 어떻게 해석할까요? 정책에서는 어떻게 표현될까요?
2) 평가는 학문과 어떻게 상호작용하는가?
평가는 학문 연구나 그 평가를 활용하는 다양한 정책 및 연구비 지원 기구와 어떻게 상호작용할까요? 우리는 이 상호작용을 어떻게 실천하는지를 연구합니다. 특히 연구자나 이해관계자가 연구 내용이나 작업 방식을 정하는 지점을 들여다봅니다. 실험실이나 바다 위 배에서, 또 기록보관소 속 인문학자들과 함께 말이죠.
3) 작금의 평가방식은 우리가 학문을 평가하고자 하는 방향과 일치하는가?
바로 스포일러를 발설하자면, 이 질문에 제가 지금 갖고 있는 대답은 '아니오'입니다. 분명히 연구평가 체계는 몇몇 결함을 갖고 있고, 다행히도 이미 몇몇이 시작했듯 우리는 이를 고치기 위해 나서야 합니다. (Benedictus & Miedema, 2016) 당연히 학계를 포함한 세상은 계속 변하기 마련이니 지속적인 조절도 필요할테지요. 학계는 갈수록 국제화되고 있습니다. 연구자들은 갈수록 거대한 기반 시설(infrastructure) 아래에서 일하고 있습니다. 그리고 갈수록 다양한 사람들이 대학 안팎에서 무엇을 연구해야하는지에 대한 의견을 표명하고 있습니다. (국가연구의제(National Research Agenda)1나 의생명연구에서 환자단체가 가지는 역할을 예로 들 수 있습니다.) 하지만 주요 사회 문제(노후 건강, 인공지능과 윤리, 부정적인 기후변화 등)에서 해답을 찾는데 있어 사람들의 기대는 실제 학문이 가진 문제해결능력 범위를 넘어서기 마련입니다. 때문에 우리는 평가가 어떻게 연구자와 대학의 행동과 선택에 영향을 미칠 수 있고 또 미치는지 알아야만합니다. 평가가 지금 무엇을 하는지, 과거에는 무엇을 했는지를 말이죠. 궁극적으로 우리가 평가를 통해 원하는 것을 알아야 합니다.
평가지표를 염두에 둔 학술활동
Recent events do not give me hope, but they do give me purpose
(근래 벌어진 현상들은 내게 희망을 주진 않지만, 목적을 일깨운다)
---Kathleen Fitzpatrick, The Generous University
정량적 성과 측정은 연구의 질을 평가하는데 적합한 방식으로 보이기도 합니다. 저는 2012년부터 지금까지 계속해서 제 자신에게 이런 계산과 측정, 평가가 정말 학계의 요구를 충족하는지 질문해왔습니다. 지금이야 우리 모두 답을 알고 있지만 그 때만 해도 같은 주제에서 경험적 연구가 드물었죠. 심지어 네덜란드에서 같은 주제로 논의가 일어나기도 전이었습니다. 저는 학계에 만연한 - 주로 정량적인 - 지표들이 좋은 연구를 장려하고 지식 생산의 질을 보장하며, 제대로 된 연구자들을 자리에 앉히고 승진시키기 위한 수단으로 쓰기에 믿을 만한지 알고 싶었습니다. 분명히 말씀드리자면 보장하기 어렵고, 오히려 그로부터 거리가 멉니다. 지난 몇년동안 제 연구단에서 진행한 연구과제를 통해 내릴 수 있는 중요한 결론은 다음과 같습니다. 시장경제체제 아래 평가에 대한 지배적인 이해방식이 지식의 가치에 대한 질문을 얼마나 효율적이고 생산적인지에 대한 질문으로 축소해버린다는 것입니다. (역자 강조)2 연구자가 특정 시기에 논문을 얼마나 많이 출판했는지, 논문이 실린 학술지의 영향력지수는 몇인지, 그 논문은 얼마나 인용되었고, 연구자가 최근 수주한 연구비는 얼마인지와 같은 질문들로 말입니다.
이런 사고방식은 최소 두가지 결과를 가져옵니다. 첫번째는 체계 안에서 살아가는 연구자들의 안녕(well-being)과 관련이 있는데(Weijden et al., 2017), 더 나아가 이는 사회를 구성하는데 필요한 요소에도 영향을 미칩니다. 치열해지는 경쟁, 줄어드는 동료의식과 공동체적 헌신이 가져올 결과를 상상해보십시오. 2012년부터 지금까지 우리는 수백명을 인터뷰하고 수개월동안 관찰하며 산더미같은 서류를 분석하며 다양한 학제에서 현장연구를 진행했습니다. 의생명과학만 놓고 보더라도 수많은 야심 있는 젊은 연구자들이 다른 나라 연구자들로부터 연구결과를 '스쿱'3당할까봐 휴일에도 쉬어서는 안된다는 압박을 받고 있습니다. 그리고 이렇게 쉬지 않고 힘들게 일해서 높은 영향력지수를 기록한 학술지에 논문을 실어온 연구단장이나 학과장이 서로 건강을 챙기라고 하는 모습도 볼 수 있었습니다:
건강 챙기시라고 제가 여러번 말했죠. 저는 혈관우회수술을 세번 받고서야 깨달았어요. 네이처(Nature) 지에 논문을 싣는 것보다 삶이 더 중요하다는 것을요.
시장경제 원리에 기반한 연구평가체계가 가져오는 두번째 결과는 연구 내용과 관련이 있습니다. 매우 중요한 지점이지요. 우리는 연구주제의 다양성이 줄어들 위험성 역시 발견했습니다. 연구가 갈수록 더 높은 점수를 받기 위해 계획되고 수정되고 있음을 볼 수 있었습니다. 연구자들은 그들의 관심사나 중요성 뿐만 아니라 일자리를 구할 가능성이 높은 방향으로 연구질문을 고르는 것으로 보입니다. 우리가 '지표와 함께 고민하기(thinking with indicators)'라고 부르는 현상입니다. (Müller & De Rijcke, 2017) 이는 학문이 가지는 다른 질적 요소들(독창성, 긴 기간 동안의 학문적 진척도, 사회관련성 등)을 주변부로 밀어내거나 아예 상상하기도 어려운 것으로 바꾼다는 점에서 학문 전체적으로 문제가 많은 현상입니다.
우리 모두 두 결과가 사회의 중요한 부분이라 할 수 있는 학문에 장기적으로 어떤 영향을 미칠지, 어떤 의미를 가지는지 고민해야 합니다. 이를테면 대학이 세상에 기여하고픈 사람들에게 더 이상 매력적인 일자리가 아니게 될 수도 있겠지요.
제가 '지표와 함께 고민하기'라는 주제로 연구한 내용으로부터 내릴 수 있는 또다른 중요한 결론은 형식적 평가 과정에서 단순히 정량지표를 제외하는 것만으로는 문제를 해결할 수 없다는 것입니다. 올해 4월 18일, ZonMw(Netherlands Organisation for Health Research and Development, 네덜란드에서 미국 NIH의 역할을 하는 기관) NWO(Netherlands Organisation for Scientific Research, 네덜란드의 연구재단), KNAW(Royal Netherlands Academy of Arts and Sciences, 네덜란드 왕립 아카데미4)은 '연구평가에 대한 샌프란시스코 선언(San Francisco Declaration on Research Assessment, 이하 DORA)'에 서명했습니다. DORA는 출판 논문 수나 피인용수와 같은 지표에 덜 의존하고 다른 평가 기준을 도입하기 위한 연구와 연구자 평가에 대한 전세계적 계획입니다. 이들 기관은 DORA에 서명함으로서 연구평가 방식을 개선해야한다는 중요한 메시지를 전하고 있으며, 이들 기관이 자체적으로 그런 고민을 하고 있다는 점에서 매우 좋은 소식입니다. 하지만 평가지표의 사용이 이미 주된 지식 생산과정과 밀접하게 뒤섞여있다는 점을 고려하면 실제 연구 현장에서 근본적인 변화를 일으키기 위해서는 이보다 더 나아가야만 합니다.
가장 널리 알려진 지표인 영향력지수를 생각해보세요. 20년이 넘도록 영향력지수는 서서히 기관 내 제도나 동료평가과정, 특정 학제가 가지는 연구 질에 대한 규범과 가치, 실제 연구자의 행태에 이르기까지 많은 영역에 침투해왔습니다. 이 평가지표는 누가 대학에 남아 연구를 할지, 어떤 학술지가 중요한지, 또 누가 연구비를 지원받아야 마땅한지 결정하는 데 쓰여왔습니다.
영향력지수와 같은 지표들은 이런 다양한 실천에서 항상 일정 부분 역할을 담당해왔습니다. 이제 [DORA 서명을 통해] 달라지는 점이 있다면 공식 절차에서 이런 지표들이 쓰이느냐 마느냐겠지요. 하지만 이미 수많은 연구실에서 다음 연구질문을 도출할 때 지표를 염두에 두고 고민하고 있습니다. 영향력지수를 거부하라는 요청은 이런 현실에 대한 지적과 함께 이루어져야 합니다. DORA에 서명한 기관들이 꽤나 근본적인 과학지식 생산방식의 변화를 가져오는 복잡한 작업을 위해 충분히 고민하고 있는지는 모르겠습니다. 우리가 평가를 통해 정확히 무엇을 하고자 하는지 여전히 분명치 않습니다. 역시 대학이 무엇을 하기를 원하는지도 분명치 않지요. 실질적이고 명확한 비전이 필요한 시점입니다. 이를 위해선 앞서 언급한 구조와 문화를 더 잘 이해하고 있어야 합니다. DORA 서명만으로는 부족합니다.
더 깊은 곳으로 뛰어들기
So, what have we provoked? (그래서, 우리는 무엇을 도발했나?)
---Donna Haraway, Tentacular Thinking
잠시 한 걸음 물러나 생각해봅시다. 우리는 지금 어디에 서 있나요?
새로운 연구정책은 학계가 공동연구와 학제간 및 초학제적 연구를 통해 사회적 관련성이 있는 주제에 전념하도록 촉구하고 있습니다. 그리고 이 연구정책은 앞서 제가 주장했듯 전세계 차원에서, 생산 위주의 연구문화와 매우 관료주의적인 평가 관행 속에서 시행될 것입니다. 유럽연합의 연구정책 방향성은 지난 10년 사이 크게 변했는데(Wilsdon & De Rijcke, 2019), 새로운 정책은 유럽 연구계 전반에 오픈 사이언스(open science)와 개방형 데이터부터 연구개발을 사회적 우선사항에 맞춰 조정하는 것까지 다양한 원칙을 적용하고 있습니다. 유럽연합은 '전지구적 과제(global challenge)' 해결에 앞장서는 연구과제에 연구비를 지원하는 방식으로 사회적 우선사항을 고려하고 있습니다. 앞서 예를 들었듯이 이는 부정적인 기후 악화나 스마트 기술을 포함하고 있죠.
임무 중심의 연구(mission-oriented research)로의 움직임이 모두에게 지지를 받는 것은 아닙니다. 이런 움직임이 차후에 기초연구에 대한 금전적 및 구조적 지원의 감소로 이어질까 두려워하는 목소리 역시 들립니다. 따라서 유럽연합이 학제간 및 초학제적 연구, 오픈 사이언스와 사회연관성을 촉진하는데 전력을 다할 때, 다른 한편으로는 이것이 다른 '평가 원칙(evaluative principles)'이나(Star, 1995) 수월성 또는 국제 경쟁력 등과 같은 학문적 질 평가 기준과의 마찰을 일으키고 있다고 할 수 있습니다.
저는 이 마찰에 관심이 많으며, 앞으로 이를 조심스럽게 분석하고자 합니다. 좋은 연구란 무엇인지 판단하기 위한 규범과 가치가 어떻게 형성되는지 이해하고 싶습니다. 모든 연구자는 이제 높은 수월성과 동시에 곧바로 적용가능한 지식을 추구해야 하는 걸까요? 그게 가능하긴 할까요? 의미있는 기여의 정의는 무엇일까요? 언제 개별 연구자 혹은 학문 분야가 기여를 했다고 할 수 있나요? 그것을 누가 혹은 무엇이 판단할까요? 이를 통해 누가 이득을 취할까요? (Cui bono?) (Star)
제가 이 강연을 시작할 때 연급한 이탈리아 해양생물학자 Ferdinando Boero의 이메일은 결국 해양과학의 평가에 관한 새로운 연구과제로 귀결되었습니다. 이 과제는 방법론적 혁신을 위한 영감을 주기 때문에 우리 CWTS에서 매우 중요하다고 생각합니다. 잠시 후에 이 지점을 다루기로 하죠. 이에 더해 연구과제의 주요 연구질문은 제가 재임기간 동안 다뤄야 할 중대한 질문과도 궤를 같이 합니다: 평가와 학문적 통찰은 어떻게 밀접한 연관을 갖고 있을까요?
왜 해양과학인가? 일부 예외를 제외하면 (Vermeulen, 2013), 제 연구분야에서는 해당 분과학문을 다룬 연구가 매우 적습니다. 또다른 이유는 해양과학이 다른 여러 분과학문과 마찬가지로 그저 학문적으로 우수해야하고, 산업연관성이 있어야 할 뿐만 아니라 지구의 생존방안에도 제언을 도출하도록 엄청난 압박 아래에 놓여있기 때문입니다. 해양학자들은 기초연구를 수행하는 동시에 오염과 남획, 해수온도 상승이 가져오는 효과를 분석해야 하며, 해양환경 인식 제고 활동에 참여하면서, 동시에 기술혁신의 산업 적용에도 힘써야 합니다. 과연 그들은 연구와 효율성 중심으로 돌아가는 시스템에서 이 일들을 모두 해낼 수 있을까요? 리스크가 높아 국제적 수준으로 연구비 지원을 받거나 더 복잡한 연구질문을 다루기가 점점 더 어려워지는 상황속에서 그들이 해당 업무를 모두 할 수 있기를 바라는 게 맞는 걸까요? (Laudel & Gläser, 2014)
저는 다음 5년동안 해당 학문분과를 대상으로 연구하는데 전념하여 평가가 어떤 역할을 하는지 조사할 것입니다. 저는 제 동료들과, 또 감사하게도 연구과제에 도움을 주기로 한 Ferdinando Boero를 비롯한 5개 주요 유럽해양기관 리더들과 함께 연구를 수행할 것입니다.
연구방법을 간결하게 요약하자면 이렇습니다. 우선 우리는 해양과학 평가의 과거와 현재, 미래를 연구할 것입니다. 우리는 지난 수십년간 해양과학이 어떻게 발전해왔는지 정량적 분석을 시도할 것입니다. 어떤 주제가 다른 것보다 더 가치있게 여겨졌는지, 어떤 연구노선이 '뜨는 주제'가 되고 어떤 건 그러지 못했는지, 누가 세계적인 연구자가 되고 누가 주변부로 사라져갔는지를 연구할 것입니다. 박사과정생 몇 명은 현장연구를 통해 관찰에 집중할 것입니다. 현재 해양과학에서 중요한 건 무엇일까요? 서로 다른 유럽해양기관, 연구실, 선상, 해수면 아래, 팀미팅에서 업무는 어떻게 수행될까요? 그리고 마지막으로 우리는 유럽과 국가 단위에서의 연구정책 우선순위가 어떻게 설정되는지 살펴보고자 합니다. 무엇이 가까운 미래에 해양과학을 평가하기 위한 기준으로 자리잡을까요?
저는 이 연구과제가 CWTS, 그리고 아마 과학학(Science Studies) 전반적으로도 매우 훌륭한 기회라고 생각합니다. 왜냐하면 우리는 이 과제에서 민족지적 방법론과 과학정보계량학적(scientometric) 방법론을 함께 사용하기 때문입니다. 이 접근은 최근 컴퓨터를 사용하거나 과학정보계량학을 통해 만든 모델이 과학기술학과 융합을 이루어야 한다는 요청에 응하는 것이기도 합니다. 과학정보계량학은 다양한 과학기술학에서 탄생시킨 개념들로부터 많은 것을 배울 수 있습니다. (Cambrosio et al., 2014) 물론 그 어떤 것도 쉽지는 않겠지만 쉬운 건 재미없으니 오히려 잘 된 일이지요. 과학정보계량학과 과학기술학은 비록 같은 기원에서 출발하긴 했지만 지난 수십년간 각기 다른 학술지, 학술대회, 문제해결방식, 기준과 규범을 발전시켜왔기 때문에 적잖이 어려울 것입니다. (Wyatt et al., 2017) 레이든에서 우리는 이 둘의 융합을 향해 나아갈 것입니다. 단순히 개별 단계에서 컴퓨터 모델과 과학기술학 모델을 각각 사용하는게 아니라 둘을 오고가며 동시에 반복적으로 진행할 것입니다. (Varga, n.d.) 우리는 컴퓨터를 사용한 분석 결과를 민속지적 작업에 포함 시킬 것입니다. 역으로 우리는 과학기술학 개념들을 반영한 컴퓨터 모델을 개발할 것입니다. 비록 저 자신은 편향되어 있을지라도,5 저는 CWTS가 현재 유지하고 있는 훌륭한 여건 상 이 실험을 하기에 이상적인 장소라고 생각합니다.
선택지와 선택권
It matters what stories make world, what world make stories.
(어떤 이야기가 세상을 만드는지도, 어떤 세상이 이야기를 만드는지도 모두 중요하다.)
---Donna Haraway, Staying with the Trouble
마지막으로 저는 제 연구의 적절성(relevance)과 활용성(applicability)에 대해서 이야기해보고자 합니다.
우리는 학문과 평가가 어떻게 상호작용하는지 연구해서 무엇을 얻을 수 있을까요? 제 생각은 다음과 같습니다. 첫째, 연구 계획과 연구 정책이 어떻게 실제 실천과 행위로 드러나는지에 대한 통찰을 얻을 수 있습니다. 평가가 연구자와 다른 이해당사자들의 일상 업무에 주는 영향에 대한 지식을 구할 수 있습니다. 둘째, 우리가 연구하는 연구자들에게도 도움이 될 수 있습니다. 예를 들어, 연구자들이 수월성이나 적절성과 같은 정책 용어를 사용할 때 그저 무비판적으로 받아들이지 않고 보다 책임성 있게 쓰도록 도울 수 있습니다. 더불어 그들의 작업을 우리 연구에 비추어 보며 지역적 맥락이 사회에 책임지는 연구(responsible research)를 정의내리는데 어떤 영향을 미치는지, 그들이 속한 연구공동체 내에서 어떤 가치가 연구의 질을 결정하는지, 또 그들이 가진 기량과 관심사 아래 정말 적절하고 필요한 연구질문과 사회적 문제는 무엇인지를 되물을 수 있습니다.
이런 종류의 작업을 할 때는 사회과학과 인문학에서 사용하는 개념적 및 방법론적 도구가 매우 중요하게 사용됩니다. 제가 보기에 사회과학과 인문학은 보다 진지하게 다뤄지기 위해서라는 이유로 더 '경성' (hard) 과학이 되도록 노력해서는 안된다고 봅니다. 대신 둘은 더 많은 의미를 끌어내기 위해 여러 문제에 적극 관여해야 합니다. 문제는 인문학과 사회과학 분야에서조차 평가문화가 이를 허용하지 않을 수 있다는 것입니다.
저는 규제과학 역시 과학기술학, 평가학과 과학정보계량학과 마찬가지로 사회에 적극적으로 관여해야 한다고 생각합니다. (Jasanoff, 1990) 예를 들어 과학정보계량학은 정책수단으로 쓰일 지표를 만드는 데 깊이 관여하고 있어 그 출발점부터 중립적이라고 할 수 없습니다. (Wouters, 1999) 이는 해당 분과학문이 미래 지향점에 대한 선택지를 제공하는 추가적인 책임을 가진다는 것을 의미합니다. 그 선택지 역시 사변적일 수밖에 없긴 하나, 이는 보다 덜 폭력적인 방법으로 세계가 가진 복잡성을 추상적 개념으로 환원할 방법을 찾아낼 거라는 약속이기도 합니다. 그것이 바로 제가 연구를 하는 이유기도 합니다. (Schinkel, 2014)
그냥 이 모든 평가를 멈추면 되지 않나? 아마 여러분은 이런 질문을 가끔 들으셨을 겁니다. 저는 그 입장에 동의하지 않습니다. 과학과 연관된 상당한 규모의 정치적, 금전적, 환경적 이해를 고려하면 해당 입장은 너무 순진한 생각입니다. 우리는 학문과 관련된 내용, 돈, 권력, 명성을 둘러싼 올바른 전략적인 의사결정을 할 수 있는 구조를 필요로 합니다. 그리고 평가는 같은 목적에 어울리는 수단입니다. 다만 그 의사결정의 대부분을 관료주의적 과정과 몰이해적 지표에 맡기는 것은 매우 무책임한 일입니다. 우리는 숙의를 위한 공간을 만들어 여러 선택지와 대안을 마련해야 합니다. 이런 맥락에서 CWTS에서는 계속해서 새로운 연구평가 방법을 개발할 것입니다. (Holtrop, 2018; De Rijcke et al., 2018) 우리는 평가를 집단적 미래 창출 행위로 봐야지, 우리 업무와 관련성이 크고 작은 지표들에서 더 높은 점수를 얻기 위한 시도에만 갇혀서는 안됩니다. (Wouters 2017) 또 우리는 평가에서 전략적인 의사결정을 할 때 기후운동가부터 패러다임에 도전하는 학자까지 보다 다양한 사람을 참여시킬 필요가 있습니다. 이미 세계는 불타고 있기 때문에 다른 것을 할 여유따윈 없습니다.
감사의 말
So try it one more time (그러니 한 번 더해보자고)
With feeling darlin', take it from the top (그 느낌과 함께, 처음부터 다시 말야)
--- Kris Kristofferson, Once More with Feeling
마지막으로 저는 제가 - 틀리지 않았다면 - 레이든 대학에 임용된 208번째 여자 정교수라는 사실을 되새겨 보고자 합니다. 레이든에 첫 여자 정교수가 임용된지 90년 만이지요. 하지만 여전히 불행히도 여자 정교수는 전체 5분의 1이라는 매우 낮은 비율에 지나지 않습니다. 저는 몇 주 전 제 이모 Nel이 매우 다정하게 써준 편지를 받았습니다. 안타깝게도 여기 오지는 못하셨는데요. 그는 제 취임 기념 강연을 "첫 박사, 첫 교수, 심지어 여자로서 둘을 이룩한 De Rijcke 가문의 역사에 남을 특별한 사건"으로 보았습니다. 저는 편지를 읽으며 자부심으로 가득찼지만, 동시에 그가 과거에 제가 받은 기회를 동일하게 받지 못했다는 사실에 슬프기도 했습니다. 그는 자연스럽게 진짜 문제를 강조하기도 했습니다. 바로 학계에서의 높은 직책에 오른 여자가 드물다는 사실이지요. 가끔 누군가는 이를 그저 시간이 지나면 해결될 문제로 보기도 합니다. 물론 그렇게 된다면 좋겠지요. 하지만 고백하자면 저는 항상 젠더격차 문제를 떠올릴 때마다 불편함을 느끼곤 합니다. 젠더 사이에 생기는 후천적 경향성이 하루 빨리 사라졌으면 합니다. 제 경험상 대학에서는 아직도 여성과 남성 모두 암묵적인 기대와 규범속에서 난감해하고 있으며, 젠더격차를 아직 해소하지 못했습니다. (Thornton, 2013)
가끔 그런 기대가 노골적으로 드러나기도 합니다. 몇 년 전 제가 발표를 한후 누군가에게서 들었던 조언이 생각나는군요. 그 분은 제게 발표 중에 덜 웃었으면 한다고 했습니다. 학계에 자리잡고자 한다면 웃음을 참아야 한다고요. 정말인가요? 수백년 전 네덜랕드의 첫 여성 정교수였던 Johanna Westerdijk는 지적능력과 유머감각이 매우 잘 어울린다는 것을 보였습니다. Patricia Faasse가 그에 대해 쓴 전기를 보면 그는 학계에 자리잡은 여성이면서, 굉장히 열심히 일하고, 동시에 "우렁차게 웃으며 파티와 술, 춤을 즐기는, 그러면서 꾸미기나 무의미한 관습을 싫어하는" 사람이었습니다. (Faasse, 2012) 잘 되었군요! 저도 그와 같은 삶을 살고 있으니까요!
(후략)
참고문헌
Benedictus, R. & Miedema, F. (2016). Fewer numbers, better science. Nature, Oct 27; 453-455.
Cambrosio, A., Bourret, P., Rabeharisoa, V., & Callon, M. (2014). Big Data and the Collective Turn in Biomedicine: How Should We Analyze Post-genomic Practices? TECNOSCIENZA Italian Journal of Science & Technology Studies, 5(1): 11–42.
Dahler-Larsen, P. (2012). The Evaluation Society. Stanford, CA: Stanford University Press.
De Rijcke, S., Holtrop, H., Kaltenbrunner, W., Zuijderwijk, J., Beaulieu, A., Franssen, T., Van Leeuwen, T.N., Mongeon, P., Tatum, C.T., Valkenburg, G. & Wouters, P.F (2018), Evaluative Inquiry: Engaging research evaluation analytically and strategically. Vienna: EU Council Conference on Impact of Social Sciences and Humanities for a European Research Agenda – Valuation of SSH in mission-oriented research.
Faasse, P. (2012). Een beetje opstandigheid. Johanna Westerdijk. De eerste vrouwelijke hoogleraar van Nederland (A Little Rebelliousness. Johanna Westerdijk. The First Female Professor in the Netherlands). Amsterdam/Antwerp: Uitgeverij Altas Contact.
Fowler, N., Lindahl, M. & Sköld, D. (2015). The projectification of university research: A study of resistance and accommodation of project management tools & techniques. International Journal of Managing Projects in Business, 8(1): 9-32.
Hicks, D., Wouters, P.F., Rafols, I., De Rijcke, S. & Waltman, L. (2015). The Leiden Manifesto for Research Metrics. Nature, 23 April 2015. (본문에 인용되지 않았으나 참고문헌에는 있음.)
Jasanoff, S. (1990). The Fifth Branch. Science Advisors as Policy Makers. Cambridge, MA: Harvard University Press.
Laudel, G., & Gläser, J. (2014). Beyond Breakthrough Research: Epistemic Properties of Research and Their Consequences for Research Funding. Research Policy, 43(7): 1204–16.
Latour, B. (1988). The Pasteurization of France. Cambridge, MA: Harvard University Press, p. 256.
Müller, R. & De Rijcke, S. (2017). Thinking with Indicators. Exploring the Epistemic Impacts of Academic Performance Indicators in the Life Sciences. Research Evaluation, 26(3): 157-168.
Holtrop, T.J. (2018). The Evaluative Inquiry: A New Approach to Research Evaluation. Blogpost, http://www.cwts.nl/blog.
Schinkel, W. (2014). Over nut en nadeel van de sociologie voor het leven (The use and abuse of sociology for life). Amsterdam: Boom, p. 14.
Star, S.L. (1995). Ecologies of Knowledge: Work and Politics in Science and Technology. Ithaca, NY:SUNY Press.
Thornton, M. (2013). The Mirage of Merit: Reconstituting the 'Ideal Academic', Australian Feminist Studies, 28(76): 127-143.
Varga, J. (n.d.). PhD thesis.
Vermeulen, N. (2013). From Darwin to the Census of Marine Life: Marine Biology as Big Science. PLoS ONE 8(1): e54284.
Van der Weijden, I.C.M., Van Gelder, E., Meijer, I., Van der Ven, I., Beukman, J.J., & Farzand Ali, R. (2017). Continu in de stress: Mentale problemen bij promovendi (Constantly under stress: Mental problems in PhD candidates). Thema Tijdschrift voor Hoger Onderwijs & Management, (4): 80-84.
Whitley, R. (2007). Changing Governance of the Public Sciences. In R. Whitley and J. Glaeser (Eds), The Changing Governance of the Sciences. Sociology of the Sciences Yearbook (pp. 3–27). Dordrecht: Springer.
Wilsdon, J. & De Rijcke, S. (2019). A Rule-Maker for Global Science. Nature, in press.
Wouters, P.F. (1999). The Citation Culture. PhD thesis, University of Amsterdam.
Wouters, P.F. (2017). Bridging the Evaluation Gap. Engaging Science, Technology, and Society, 2017(3): 108-118.
Wyatt, S., Milojević, S., Park, H. W., & Leydesdorff, L. (2017). Intellectual and Practical Contributions of Scientometrics to STS. In U. Felt, R. Fouché, C. A. Miller, & L. Smith-Doerr (Eds.), The Handbook of Science and Technology Studies (Fourth Edition, pp. 87–112). Cambridge, MA: MIT Press.
- (역주) 네덜란드의 연구재단이라할 수 있는 NWO( De Nederlandse Organisatie voor Wetenschappelijk Onderzoek, 영문으로는 Dutch Research Council)는 네덜란드에서 수행하는 연구의 사회관련성을 높이고 연구 방향성을 제시하고자 2015년에 Dutch National Research Agenda(de Nationale Wetenschapsagenda)를 출범했다.이는 연구기관 뿐만 아니라 시민단체, 일반 대중으로부터 의견을 모아 25개의 연구테마 및 140개의 연구질문으로 구성한 말그대로 국가연구의제라 할 수 있다. 흥미롭게도 해당 프로그램에서는 연구테마를 '경로(route)'라고 표현하고 있다. [본문으로]
- "(...) the dominant hinking in terms of market economics in evaluations reduces the question about the value of knowledge to how efficient and productive it is." [본문으로]
- (역주) 영어로 'scooped'. 선점 기회를 빼앗긴다는 뜻이다.이공계에서는 특정 연구결과를 가장 먼저 내놓은 연구자나 연구단만이 인정을 받기 때문에 연구결과를 '선점'하는 것은 매우 중요하다. [본문으로]
- (역주) 기존에 한림원과 같다고 설명한 것에 대해 지인이 서양의 아카데미(academy)와 동북아시아의 한림원은 서로 다른 역사적 맥락에서 온 용어임을 지적했다.찾아보니 한림원은 중국에서는 당나라 이후 황실 학술활동을 총괄하는 기관으로, 우리나라에서는 고려때부터 예문관이라는 이름과 오고가며 사명을 짓고 실록편찬 자료를 만들었다 한다. 다만 현재 국내에 있는 과학기술한림원, 공학한림원, 의학한림원 등은 모두 90년대 이후 서구의 아카데미를 본따 만든 조직으로, 연구자들이 자율적으로 만든 결사체로 출발한 후 (아마도 로비를 통해) 법정기구로 자리잡은 것으로 보인다. 아카데미라는 용어를 어떻게 번역할 지 고민하다 결국 한림원이라는 단어가 굳어진 듯 하다. [본문으로]
- (역주) Sarah de Ricjke는 STS 학자로 본인이 직접 scientometric 분석을 수행해오지는 않았다. 다만 CWTS는 그와 함께 취임한 Ludo Waltman처럼 훌륭한 scientometrician이 굉장히 많고, VOSviewer와 같은 scientometric tool을 개발하는 등 오히려 이쪽으로 더 이름이 알려진 연구센터이다. [본문으로]