리뷰어들은 잘 될 연구의 떡잎을 알아볼까요? by Fred Kim

남궁석 · 'Mad Scientist'

2023/05/17

[과학 학술저널 이야기] 2. 과학 정보 전달을 지체시키는 현행 저널 체계

첫번째 글에서 이야기했듯이 과학 저널이 등장하게 된 근본적인 이유는 단행본이나 개인간의 편지로 과학 연구 결과를 출간하는 것에 비해서 더 빠른 정보 유통을 하려는 데 있었으며, 실제로 과학 저널이 나온 후 한참동안 과학 저널은 최신의 과학 결과를 빠르게 전파하는 수단으로써 훌륭히 작동하였다.그러나 오늘날 과학 저널은 어떨까? 클릭 하나면 지구 어디서건 연구 결과를 순식간에 알릴 수 있는 인터넷 시대에 현행의 과학 저널은 오히려 과학 정보 유통을 이전보다도 훨씬 느리게 하고 있다는 모순이 있다. 이번 글에서는 현행 과학 저널의 문제 중의 하나인 과학 연구 유통을 지체시키는 요인과 그 이유를 알아보자. 신속한 연구 결과 전달을 목표로 하던 과거의 과학 저널…그러나 지금은? 오랫동안 과학저널은 세계 각국의 과학자들이 과학 정보를 신속하게 입수하게 하는 수단으로 작용했고, 이것은 1960-70년대까지 여전했다. 항공 교통이 발달하지 않았고 과학 저널이 전파되려면 책으로 인쇄된 ...

Fred Kim · Data lover

2023/05/18

리뷰어들은 잘 될 연구의 떡잎을 알아볼까요?

산업/기술/IT 우주/생명+1

남궁석님의 다음 글에 Openreview 이야기가 나오지 않을까합니다만, 이번에 쓰신 글을 읽으며 제가 작년에 했던 작은 분석이 떠올라 공유해봅니다.

OpenReview라는 사이트가 있습니다. 논문의 투고와 심사 과정을 투명하게 공개하고자하는 프로젝트로, 다양한 컨퍼런스들이 이 플랫폼을 사용합니다. 저명한 머신러닝 컨퍼런스인 ICLR도 OpenReview를 사용하는데요, 2017년부터 OpenReview를 통하여 공개적인 컨퍼런스 페이퍼 제출 및 심사를 시작했습니다. 이중맹검법을 사용하여 컨퍼런스 페이퍼의 저자와 3~4명의 리뷰어들이 익명으로 의견을 주고받고, 리뷰어들은 논문의 퀄리티를 점수를 통해 평가합니다. 최종적으로 컨퍼런스의 체어가 리뷰어들의 평가를 바탕으로 페이퍼를 통과시킬지 리젝할지 결정합니다.
리뷰어들은 독창적이고 높은 가치를 지닌 연구일수록 높은 점수를 줄 것입니다. 저는 리뷰어들의 평가와 논문의 향후 인용수의 연관관계가 궁금했습니다. 만약 리뷰어들의 평가와 논문의 인용수가 강한 양의 상관관계를 가지고 있다면, 학계에서 중심적인 역할을 하는 연구를 해당 연구를 가장 처음 접하게 되는 리뷰어들이 성공적으로 판별해낸 것이라고 볼 수 있습니다. 그렇지 않다면, 리뷰어들의 판단과 학계 전체가 내리는 판단이 다르다고 할 수 있겠죠. ICLR 2017부터 ICLR 2020까지의 리뷰 데이터와 Google Scholar에서 얻은 인용수 데이터를 통해 이를 알아보았습니다.

아직 학계의 평가가 충분하지 않았다고 보았기 때문에 ICLR 2020까지만 다루었고, 리젝된 페이퍼들은 이후 컨...