AI(인공지능)가 90년 넘게 풀리지 않던 수학계 최고 난제(難題)에 도전해 88시간 만에 해법을 내놨다. 2년 전만 해도 인간이 출제한 수학 문제를 풀던 AI가 이제 세계 최고 수학자들도 풀지 못한 인류의 수학 난제까지 파고든 것이다.
오픈AI는 8일(현지 시각) 최신 비공개 AI 모델이 '나비에-스토크스 존재성과 매끄러움 문제'의 해법을 찾았다며 165쪽 분량의 증명을 공개했다. 나비에-스토크스 방정식은 미국 클레이수학연구소가 2000년 인류가 풀지 못한 대표적 수학 난제 7개를 선정해 각각 상금 100만달러를 내건 '밀레니엄 문제' 가운데 하나다. 이후 26년 동안 전 세계 수학자들이 7대 밀레니엄 문제 풀이에 매달렸지만, 공식적으로 해결된 것은 러시아 수학자 그리고리 페렐만이 푼 '푸앵카레 추측' 하나뿐이었다.
◇AI 에이전트 1만개가 88시간 협업
나비에-스토크스 방정식은 바람이나 물이 어떻게 움직이는지를 예측하는 공식이다. 커피에 우유를 탔을 때 액체가 어떻게 흐르고 섞이는지, 태풍 속 공기가 어떤 방향과 속도로 움직이는지를 설명하는 규칙이다. 약 200년 전 만들어져 지금도 날씨 예측, 항공기 설계, 해류 분석 등에 활용된다.
문제는 처음에는 멀쩡하게 계산되던 물이나 공기의 움직임이 끝까지 정상적으로 계산되는지다. 수학자들은 어느 순간 이 방정식이 정상적인 답을 내놓지 못하는 경우가 생길 수 있다고 보면서도, 어떤 조건에서 그런 예외가 생길 수 있는지는 증명하지 못했다. 하지만 AI가 특정 조건에서 이런 예외가 실제로 생길 수 있음을 밝혀냈다는 것이다. 1934년 프랑스 수학자 장 르레의 연구 이후 92년간 풀리지 않았던 문제다.
문제 해결에는 막대한 AI 연산 능력이 동원됐다. 오픈AI는 최대 1만개의 AI 에이전트를 동시에 투입해 서로 다른 방법으로 문제를 풀게 했다. 에이전트들은 약 88시간 동안 270만개의 메시지를 주고받은 끝에 해법에 도달했다. 1500만달러 상당 컴퓨팅 자원이 들었다고 했다.
다만 아직 난제가 공식 해결된 것은 아니다. 오픈AI가 공개한 증명을 외부 수학자들이 검토하고 학계에서 인정하는 과정이 남아 있다. 비슷한 접근법을 먼저 연구한 다른 연구진의 성과를 활용한 것 아니냐는 논란도 있다. 그럼에도 야쿠프 파초키 오픈AI 수석과학자는 "밀레니엄 문제를 이야기하는 자체가 AI가 얼마나 멀리 왔고 얼마나 빠르게 발전하고 있는지를 보여주는 사례"라고 했다.
◇올림피아드 은메달서 인류 미해결 문제까지
AI의 수학 능력은 최근 2년 사이 가파르게 높아지고 있다. 2024년 구글 딥마인드의 AI 모델은 국제수학올림피아드(IMO) 6문제 중 4문제를 풀어 은메달 수준 성적을 냈다. 1년 뒤 구글 딥마인드의 다른 AI가 6문제 중 5문제를 풀어 금메달 수준까지 올라섰다.
올해부터는 인류가 답을 모르는 실제 연구 문제에도 성과를 내기 시작했다. 지난 5월 오픈AI 내부 모델은 수학자 폴 에르되시가 1946년 제기한 '단위 거리 문제'와 관련해 약 80년간 이어진 추측의 반례를 찾아냈다. 앤스로픽의 AI도 장기간 풀리지 않던 수학 문제에서 성과를 내놨다.
AI가 수학에서 특히 빠르게 발전하는 이유는 답의 옳고 그름을 명확하게 검증할 수 있다는 점이 꼽힌다. AI는 수천·수만 개의 풀이를 동시에 시도하고, 논리적 오류를 검증해 가며 반복 도전하는 방식이 가능하다. 인간 수학자가 수개월 걸릴 일은 막대한 컴퓨팅 자원을 동원해 밀어붙일 수 있다. '판타레이' 저자인 민태기 공학박사는 "AI 시대의 수학자에게는 '문제를 푸는 능력'보다 '좋은 질문을 던지는 능력'이 더 중요해질 것"이라고 했다.