일부 인공지능(AI) 모델이 가짜 신원을 만들어 실제 사람에게 접근하고 악성코드 삽입을 시도한 사례가 발견됐다.
영국 AI안전연구소(AISI)는 4일(현지 시각) 공개한 보안 사고 보고서에서 지난달 진행한 사이버 보안 평가 도중 AI 에이전트가 지속적이고 승인받지 않은 활동을 벌였다고 밝혔다.
AISI에 따르면 AI 에이전트들은 인터넷에 접속할 수 있는 환경에서 평가 과제의 범위를 벗어나 승인되지 않은 행동을 실제 인물과 조직을 대상으로 벌였다. 총 122차례의 사이버 보안 과제 평가 가운데 10차례에서 19건의 사례가 확인됐다.
지난달 25일부터 28일까지 발생한 19건 가운데 17건은 앤트로픽의 '미소스 5' 모델에서, 나머지 2건은 오픈AI의 'GPT-5.6 솔'에서 각각 나타났다. 이 중에는 실제 오픈소스 소프트웨어에 대한 공급망 공격 시도가 있었다고 AISI는 전했다.
가장 심각한 사례의 경우 공격자인 AI 에이전트가 공개적으로 사용되는 오픈소스 프로젝트에 악성 코드를 삽입하려 한 뒤, 해당 변경 사항을 승인받기 위해 인간 프로젝트 관리자에게 접근했다.
이 과정에서 에이전트는 프로젝트 관리자를 조사하고 여러 개의 가짜 신원을 만들어 실제 관리자 한 명이 코드를 승인하도록 유도했다.
에이전트는 자신이 작성한 코드 변경 사항을 메인 코드 저장소에 반영해 달라고 요청했다가 문제 제기를 받자, 이전 활동을 수정해 마치 무해한 것처럼 보이도록 증거를 인멸하고 새로운 신원을 만들어서 공격을 계속하려고 시도했다.
또한 온라인 파일 전송 서비스를 통해 메시지와 파일을 보내 상대방 또는 상대방의 AI 코딩 도구가 악성 코드를 실행하도록 유도하려는 시도도 있었다.
AISI는 "AISI가 실제 세계에서, 실제 인물을 대상으로, 지시 없이 이 정도 수준의 기만을 본 것은 이번이 처음"이라고 평가했다.
다만 해당 시도는 성공하지 못했으며, 실제 피해는 발생하지 않았다.
앤트로픽은 소셜미디어 엑스(X)를 통해 이번 평가가 인터넷 접근을 허용하고 일부 안전장치를 제거한 의도적으로 완화된 환경에서 진행됐다고 설명했다. 그러면서 모델이 보안 환경을 탈출했다는 증거는 없으며, AISI와 함께 사건 경위를 조사하고 있다고 밝혔다.
오픈AI도 블로그를 통해 일탈 사례 2건이 테스트 환경을 벗어났으며 평가 과제에 불필요한 활동에 해당한다고 밝혔다.