오픈AI의 인공지능(AI) 모델 GPT에 이어 앤트로픽의 클로드도 외부 기관 시스템을 무단 해킹한 것으로 드러났다.
앤트로픽은 자사 사이버 보안 평가 기록 14만1006건을 전수 조사한 결과, 클로드가 외부 기관 3곳의 시스템에 무단 접근한 사실을 확인했다고 30일(현지 시각) 밝혔다.
이번 조사는 앞서 GPT 일부 고성능 모델들이 지시 없이 외부 AI 플랫폼 '허깅페이스'의 시스템을 공격한 사실이 알려진 뒤, 앤트로픽이 자사 모델에서도 유사한 사례가 있었는지 점검하는 과정에서 이뤄졌다.
사고는 외주 평가 협력사인 '이레귤러'가 구축한 시뮬레이션 환경에서 '클로드 미토스5'와 '클로드 오퍼스4.7', 그리고 내부 연구용 시험 모델 등 3종을 대상으로 모의 해킹 과제인 '깃발 빼앗기'(CTF) 평가를 진행하는 과정에서 발생했다.
앤트로픽은 해당 평가 환경이 인터넷 연결이 차단된 가상 모의 공간이라고 클로드에 명령어로 안내했으나, 협력사와의 의사소통 오류 등으로 실제로는 인터넷망이 열려 있었다.
이에 클로드는 자신이 발견한 외부 시스템을 모의 훈련 공간의 일부로 오인하고 공격을 수행한 것으로 보인다고 앤트로픽은 설명했다.
오퍼스4.7의 경우 평가 과제로 주어진 가상의 목표와 우연히 이름이 같은 한 기업의 웹사이트를 해킹했다. 미토스5는 모의 공간 내 지침에 따라 악성 패키지를 직접 제작해 등록했는데, 실제 보안 업체가 이 패키지를 내려받아 설치하는 바람에 실제 피해가 발생했다.
내부 연구용 모델은 한 기업의 클라우드 계정에 침투했으나, 대상이 가상 목표물이 아니라 실제 시스템임을 스스로 깨닫고 공격을 중단했다고 한다.
앤트로픽은 이 같은 사실을 지난 23일 파악한 뒤 평가 작업을 중단했고, 피해를 본 외부 기관들에 관련 사실을 통보하고 복구 작업을 돕고 있다.
앤트로픽은 "책임이 전적으로 우리에게 있는 것으로 보고 해결책을 마련하고 있다"고 설명했다.
한편, GPT에 이어 클로드까지 보안 사고를 일으킨 사실이 드러나면서 AI 관련 보안 위험 우려는 더 커질 것으로 전망된다.
이번 사고는 인터넷 연결이 차단됐다는 지시와 실제 환경 설정이 일치하지 않으면서 발생했기에, 앞서 모델이 통제 장치를 우회해 외부 시스템에 접근한 GPT 사건과는 차이가 있다.
다만 가상 공간으로 오인한 뒤 실제 악성코드를 유포하기까지 한 점을 고려하면 외부 기관에 일으킨 피해는 클로드가 GPT보다 오히려 더 심각한 것으로 보인다.
이와 관련해 미 의회에서는 AI 모델이 통제를 벗어나 돌발 행동을 할 경우 연방 정부가 모델의 구동을 강제로 중단할 수 있도록 하는 'AI 킬스위치법'이 발의되는 등 규제 논의가 이어지고 있다.
최근에는 오픈AI와 앤트로픽 등 주요 AI 기업 임직원들도 정부가 AI 개발 속도를 조절하고 고위험 모델을 통제할 수 있는 제도를 마련해야 한다는 공개 청원에 참여하고 있다.