Key arguments: "the rate of retractions is higher as the division of labor increases (net of team size)" (p.1)
과학연구 - 주로 생명과학 분야 - 를 조직사회학적 시각으로 연구하는 조지아텍 J. P. Walsh 교수의 논문은 언제나 흥미롭다. 물론 해당 저널 편집위원으로 있다는 것을 무시해선 안되겠지만, 내가 생각하는 내 연구 분야에서 가장 저명한 저널이라고 할 수 있는 Research Policy에 정말 꾸준히 논문을 발표하고 있고, 그 때마다 읽어보지 않을 수 없다. 가장 최근에 발표한 <Pathogenic organization in science: Division of labor and retractions>라는 논문은 alert 이메일이 오자마자 제목만 보고 흥분하여 쭉쭉 읽어나갔다. 읽은 지 꽤 되었는데 미루고 미루다보니 리뷰가 늦어졌다.
이 논문을 한마디로 요약하자면 '연구실 내 분업 정도가 증가함에 따라 그 결과로 나온 논문이 철회되는 비율이 높았다'는 것이다. 초록으로부터 이 같은 연구결과를 접하고 (누구라도 했을만한) 세가지 생각이 연이어서 떠올랐다. 1) 역시, 그러면 그렇지. 당연한 것 아닌가? (물론 직감 내지는 직관에 따라 당연하게 보이는 추론을 연구를 통해 보이는 것 역시 어렵고 중요한 일이다) 2) 잠깐, 분업 정도는 어떻게 측정했지? 당장 생각나는 것만 해도 다양한 control variables가 있을 것 같은데 충분히 고려는 했나? 3) retraction rate는 얼마나 "scientific pathologies"(과학병리학이라고 번역해야할까?)에 대한 엄밀한 척도인가? 논문에서는 이를 분업정도와 어떻게 이어서 설명했나? 이 세가지 생각을 바탕으로 논문을 리뷰했다.
논문은 내가 던진 첫번째 질문에 대답을 충분히 하고 있다. 사실 저렇게 결론부터 써놓고 보니 당연하게 느껴지는 것이 사실이지만 우리는 보통 연구부정행위, 연구윤리위반행위 등을 (논문에서 말하는 'scientific pathologies') 쉽게 개인(individual) 혹은 문화 내지는 제도(institutional) 문제로 환원하는 경향이 있다. 논문에서 지적하듯 관련한 조사 결과나 교육 방법, 정책 등이 모두 그 쪽으로 초점이 맞춰져있기도 하다. 하지만 논문은 서론을 통해 학계 내에서 일어난 대표적인 부정행위 내지는 연구윤리 위반행위 사건들을 언급하며 (e.g. Baltimore & Imanishi-Kari case @ Cell), 해당 사례 모두 연구실 내 개인 간 혹은 연구실 간 '분업' 과정에서 문제가 생겼음을 지적하고, 과학병리학을 조직 이론으로 설명할 필요가 있다고 주장한다. 같은 관점의 연구가 부족한 실정에서 '분업'이라는 기초적인 조직 요소부터 들여다봐야 한다는 것이다.
사실 내가 두번째로 떠올린 의문은 논문이 RP에 실린 것만으로도 어느 정도 해소가 되긴 할텐데(RP 리뷰어가 나보다 더 깐깐할테니...) 그래도 조직사회학에서 정량 연구를 할 때 어느 정도로 엄밀하게 연구설계를 하는지 배운다는 차원에서 한번 뜯어보았다. 하지만 이 글을 읽을 사람들은 그게 궁금하기보다 얼마나 유효한 데이터를 갖고 연구했는지 궁금할 것 같다.
저자는 우선 PubMed Central과 WoS에서 1975~2016년 사이에 철회된 논문(review or article) 1081편을 모두 읽고 contribution information을 담고 있는 약 30%를 걸러 실험군 삼고, 해당 논문이 실린 저널의 앞뒤 논문 중 마찬가지로 contribution info를 담고 있는 논문(검색 범위 +/- 3) 두 편을 대조군으로 삼았다. 결과적으로 총 544편(195편의 철회 논문과 349편의 대조 논문)이 분석 대상이었다.
그리고 핵심 데이터인 '분업 정도'는 '1-(2명 이상 참여한 task 개수/전체 task 개수)'로 계산했는데, 이는 곧 논문이 세운 이론 내지는 가설과 일맥상통하는 task redundancy를 측정한 것이다. 같은 종류의 업무를 연구자 한명이 단독으로 담당했는지, 복수의 연구자가 담당하여 서로 검토를 할 수 있었는지를 살펴본 것이다. 그리고 이 task는 PLOS에서 제시하고 있는 CRediT Taxonomy를 바탕으로 한 선행연구 논문을 따라 6가지 종류로 구분했다: Conceive; Perform; Material, data, sw, etc., Analyze; Write; Other. 누가 직접 읽고 분류했을지는 모르겠지만 2명이서 각자 구분하고 교차검증했다고 한다.
Logit regression 결과, 여러 제도적 요소(부패인식지수/국가청렴도, 논문 게재에 따른 현금 인센티브 여부 등)와 논문 특성(저자 수, interdisciplinarity, 저널 순위, 게재 연도 등) 등 여러 통제 변수를 고려해도 '분업 정도'는 항상 retraction rate과 유의한 상관관계를 보였다. 이 이상의 의문은 왠만하면 논문에 다 적혀있으니 한번 읽어보시길...
사실 마지막 질문이 핵심인데, 논문을 읽고나서 저자가 이론을 연구결과에 끼워맞추지 않았나하는 의문이 여전히 남아있다. 저자가 이를 의식한 듯 literature review 부분에서 공들여 설명한 부분이 바로 scientific pathologies를 어떻게 정의할 것인가라는 문제다. 이른바 과학병리학을 정량적으로 연구하기 위해 고를 수 있는 종속 변수로 retraction rate가 거의 유일하다는 점을 고려하면 어쩔 수 없는 일이기도 하지만, 저자는 이를 하워드 베커의 낙인 이론(labeling theory)으로 정당화하고자 한다. 즉, 어떻게 해서 - 단순 실수인지, 의도적인지, 데이터 또는 분석 상 문제인지, 저자간 갈등 또는 윤리 문제인지 등 - 논문이 철회되었는지 볼 필요 없이 어쨌든 논문 철회는 결과적으로 논문을 무효로 하는 것(nullified)인데, '분업 정도'가 이와 어느 정도 상관관계를 가지는지 살펴보자는 것이다.
이는 저자가 세운 가설('서로 검토하지 않은 업무가 많은 (분업 정도가 높은) 연구진이 발표한 논문이 철회되는 비율이 높을 것')과 일부 통하기도 한다. 철회 사유가 의도적이든 비의도적이든 여러 명이 업무에 관여해서 검토했다면 논문 게재 전 제동을 걸었을 확률이 높을 것이기 때문이다. 하지만 labeling theory는 초점을 labelled deviance(낙인된 일탈)에 맞추는 것이 아니라 labelling power에 맞추는 것이다. 저자는 분명 '분업'이라는 조직 요소 내지는 조직 상 문제로 인해 '논문 철회'라는 결과가 발생한다는 가설을 세우고 있다. 하지만 labeling theory에 입각한 논문 철회란 해당 조직에 문제가 있는지 여부와 상관없이 그 조직의 결과물을 평가하는 일종의 제도적 현상이다. 가설을 접근하는 층위와 사용하는 이론의 층위가 다른 것이다. 단순히 부정행위나 윤리위반행위가 있었으나 철회가 되지 않은 데이터를 잃은 문제가 아니라는 뜻이다.
보다 단순하게 말하자면, 이는 흔히 알려진 범죄율(내지는 검거율)이라는 지표가 지닌 문제와도 비슷하다. 경찰력이 증가하면 범죄율은 어떻게 될 것인가? 감시하는 눈이 많아져 치안이 개선되는 효과로 범죄율이 감소할 것인가? 반대로 경찰이 더 많이 잡아내서 높아질 것인가? 수사기관이 화이트칼라 범죄를 과소 적발하지는 않는가?
즉, 저자는 과학병리학(scientific pathologies)을 labeling theory를 통해 정의하는 것이 실증적으로 확인할 수 있다는 이유로 상정하고 있는 가설과 함께 성립하기 어려운 종속변수 조작을 (operationalize) 꾀했다는 것이 내 생각이다. 이들이 (어쩔 수 없이) 비판하는 과학병리학에 대한 absolutist view가 오히려 해당 연구에 어울리지 않았나 하면서도, 아니면 그냥 실증 연구를 위해 어쩔 수 없이 - 하지만 여전히 유효한 - retraction rate를 썼다고 고백했다면 더 낫지 않았을까 싶다.
어쩌다보니 논문에 꽤나 큰 비판을 가했지만, 조직사회학 관점에서 과학연구를 연구하는 것은 꼭 필요한 일이고, 이 논문 역시 앞서 언급한 문제가 있음에도 불구하고 중요한 함의를 지니고 있다. Walsh 교수는 이 분야에서 독보적인 연구자로, 아마 앞으로도 계속 내 눈에 밟히는 연구를 할 것 같고 여태까지 쓴 논문 역시 하나도 빠짐없이 다 흥미로웠다. Scientific pathologies 역시 (특히 우리나라에서) 더 활발히 이루어져야 하는 연구주제이기도 하다. 현재로선 retraction에 대한 연구만 종종 이뤄지는 것 같지만 더 창의적인 데이터와 이를 이용한 연구방법도 나왔으면 한다.