오픈AI의 최신 인공지능(AI) 모델들이 격리 환경을 벗어나 외부 사이트를 해킹하는 초유의 사고가 발생했다.
오픈AI는 'GPT-5.6 솔'과 일부 미공개 AI 모델이 내부 평가 도중 통제를 벗어나 개방형(오픈소스) AI 공유 플랫폼 '허깅페이스'를 해킹했다고 21일(현지 시각) 밝혔다.
사고는 AI 모델의 취약점 공격 능력을 측정하는 내부 평가 과정에서 발생했다. 당시 오픈AI 모델들은 평가를 위해 사이버 공격에 대한 안전장치가 일부 완화된 상태였다.
오픈AI는 이 모델들을 외부 인터넷과 격리된 '샌드박스' 환경에서 시험했으나, AI 모델들은 미공개 취약점(제로데이)을 이용해 통제망을 뚫고 인터넷에 접속했다고 설명했다. 이 모델들은 허깅페이스에 접속해 인증 정보를 탈취하고 해당 서버를 해킹한 것으로 나타났다.
오픈AI는 "모든 정황을 종합해볼 때 이 모델들은 (보안 벤치마크인) '익스플로잇짐'의 평가용 문제에 대한 해법을 찾는 데 지나치게 집중해 극단적인 수단까지 동원했던 것으로 보인다"고 했다.
허깅페이스는 지난 16일 자사 운영 인프라 일부가 자율 AI 에이전트의 공격을 받았다고 먼저 공개했다. 당시에는 공격에 사용된 AI 모델을 확인하지 못했으나, 오픈AI의 조사 결과 GPT-5.6 솔과 미공개 모델이 결합된 에이전트의 소행으로 밝혀졌다.
허깅페이스는 AI 기반 탐지 시스템을 통해 해킹 사실을 인지했으며, 공격 양상도 AI를 활용해 분석했다고 설명했다. 다만 일반에 공개된 이용자용 모델이나 데이터세트가 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망도 안전한 것으로 확인됐다고 덧붙였다.
양사는 현재 공동으로 포렌식(디지털 증거 분석) 조사를 진행해 관련 취약점을 보완하고 있다.
오픈AI는 향후 연구 속도가 늦어지더라도 인프라 구성에 엄격한 통제를 적용하고, 모델 개발 시 모니터링과 접근 제어 등 안전장치를 대폭 강화하겠다고 밝혔다. 그러나 엄격한 격리 환경에서 내부 평가를 진행했음에도 이와 같은 사고가 발생한 만큼 AI의 사이버 안전에 대한 논란이 커질 것으로 보인다.
특히 폐쇄형으로 운영되는 미국의 상용 AI 모델과 비교해 안전 관련 통제 수준이 낮은 것으로 알려진 중국산 개방형 모델의 성능이 크게 향상되면서, 이를 악용한 사이버 공격이 늘어날 가능성도 제기된다.
허깅페이스는 당초 이번 해킹 공격을 중국 즈푸(智譜·Z.ai)의 개방형 모델 GLM 5.2의 소행으로 분석했다. 주요 상용 모델은 내장된 안전장치로 인해 사이버 공격 로그 분석을 거부한 반면, GLM 5.2는 이를 수행했기 때문이다.
허깅페이스는 "자율적인 AI 기반 공격이 더는 이론상 개념이 아니다"라며 공격뿐 아니라 방어에도 AI를 적극적으로 활용해 속도를 따라잡아야 한다고 분석했다.