데이터를 아무리 늘리고 컴퓨터 성능을 높여도 AI(인공지능)가 정답을 보장할 수 없는 문제가 있다는 사실을 수학적으로 입증한 연구 결과가 나왔다. 일부 복잡한 시스템에서는 AI가 올바른 답에 도달할 가능성이 최대 50%, 동전 던지기 수준에 머문다는 것이다.
영국 케임브리지대와 미국 캘리포니아대 샌타바버라 연구진은 AI가 시간에 따라 변하는 시스템을 제대로 학습할 수 있는지 분석한 연구 결과를 14일 국제 학술지 '네이처 커뮤니케이션스'에 발표했다.
날씨와 해류, 뇌 활동, 로봇의 움직임처럼 계속 변하는 현상은 원리를 정확한 방정식으로 나타내기 어렵다. 이 때문에 과학자들은 과거 관측 자료에서 반복과 진동, 증가·감소 같은 패턴을 찾아 미래를 예측한다. 연구진은 복잡한 움직임을 단순한 변화 패턴으로 나눠 분석하는 '쿠프만 연산자 학습'을 연구 대상으로 삼았다.
연구진은 관측된 자료와는 완벽하게 들어맞지만, 이후 움직임은 전혀 달라지는 두 시스템을 만들었다. 갈림길에 이르기 전까지 똑같이 진행되다가 갈림길에선 정반대 결과가 나오게 한 것이다. 갈림길 이전 기록만 본 AI는 두 미래 중 어느 것이 맞는지 판별할 방법이 없었다.
연구진은 이런 유형의 시스템에서는 데이터를 무한히 제공하고 측정이 완벽해도 하나의 범용 학습법이 정답에 도달할 확률을 50% 넘게 보장할 수 없다고 결론냈다. 서로 다른 복잡한 시스템을 같은 방식으로 학습시키는 데 근본적인 한계가 있다는 의미다.
연구진은 해결 방법도 제시했다. 데이터 양과 분석 규모를 한꺼번에 키우는 대신 먼저 충분히 오래 관측하고, 다음으로 분석할 항목을 늘린 뒤 오차를 좁히는 식으로 단계를 나누면 기존 방식으로 풀지 못한 문제를 풀어내는 경우도 있었다.
연구진은 이번 결과가 AI 챗봇의 '환각' 현상을 이해하는 데도 단서를 줄 수 있다고 봤다. 챗봇이 다음 단어를 하나씩 예측하는 과정에서 처음의 작은 차이가 쌓이면 긴 답변이 엉뚱한 방향으로 벗어날 수 있다는 것이다. 연구진은 "지금 AI 분야에선 많은 성공 사례가 나오고 있지만, 정작 AI 모델이 자신의 답을 얼마나 확신하는지, 그 확신을 어떻게 검증하는지 묻는 일도 매우 중요하다"고 했다.