세바스티안 피오스 중국 저장랩 연구원은 AI(인공지능)로 여러 분자의 끓는점을 예측하다 이상한 점을 발견했다. AI가 계산한 값이 화학자들이 75년간 참고해 온 참고 데이터베이스(DB) 숫자와 맞지 않았던 것이다. 처음에는 AI가 틀렸다고 생각했다. 하지만 피오스가 원래 논문을 확인해 검증한 결과, 틀린 쪽은 AI가 아니라 DB였다. 그동안 화학자들은 오래전 잘못 기록된 값을 관성에 따라 확인하지 않고 인용해왔던 것이다.
AI가 새로운 과학 연구의 도구를 넘어 기존 지식을 다시 검증하는 '과학계 팩트체커'로까지 활용되기 시작했다. 사람이 일일이 확인하기 어려운 방대한 논문과 데이터를 빠르게 훑을 수 있다는 점을 활용한 것이다.
미국 연구 검토 기업 SAI랩스는 최근 AI 에이전트로 올해 국제머신러닝학회(ICML) 구두 발표 논문 168편을 분석했다. AI가 논문의 핵심 주장을 추출하고 공개된 코드와 데이터를 이용해 실험을 다시 재현하는 방식이다. 분석 결과, 5개 이상 주장을 평가할 수 있었던 논문 92편 중 AI가 40% 넘게 재현한 논문은 34편, 80% 이상 재현한 논문은 8편에 그쳤다. 재현 실패가 곧 논문의 오류를 의미하는 것은 아니지만, 추가로 살펴볼 대목을 대규모로 가려낸 것이다.
미 스탠퍼드대 제임스 저우 교수팀도 AI로 신경정보처리시스템학회(NeurIPS) 논문의 수식·계산·그래프 등을 검증했다. AI가 찾아낸 논문당 오류는 2021년 평균 3.8건에서 2025년 5.9건으로 55% 늘었다. 연구가 빠르게 늘고 복잡해지면서 사람이 모든 오류를 걸러내기 어려워지는 상황에서, AI가 논문 검증을 보완할 도구로 떠오르고 있는 것이다.
연구자들이 논문을 내기 전 AI에 사전 검사를 맡기는 사례도 늘고 있다. 올해 ICML에 논문을 제출한 연구자 733명 가운데 35%는 구글의 '페이퍼 어시스턴트 툴'을 활용해 자신의 논문에서 오류를 찾아냈다고 답했다. 31%는 AI의 지적을 받은 뒤 새로운 실험을 진행했다고 답했다.
다만 아직 AI 팩트체크의 완성도는 충분하지 않다는 지적도 있다. 최근 한 연구에서는 AI가 인간 심사자가 찾아낸 논문 오류의 최대 20% 정도만 발견했고, 맞는 내용을 오류라고 잘못 지적하는 경우도 있었다. 과학계에선 이미 오류가 확인된 논문을 AI에 제시해 오류를 얼마나 제대로 찾아내는지 시험하고, 해당 분야 전문가가 AI의 판정을 다시 검증하는 프로젝트도 진행하고 있다.
과학계에선 AI가 연구의 옳고 그름을 판단하는 '심판'이라기보다, 사람이 놓칠 수 있는 오류를 대규모로 찾아주는 '탐지기'에 가깝다는 평가가 나온다.