인공지능(AI) 에이전트가 인간의 통제를 벗어나 외부 시스템에 무단 접근하는 사례가 발생하고 있지만, 이를 사고로 분류해 보고·공개하거나 누구에게 책임을 물을지에 관한 기준은 불명확하다. AI의 자율성이 높아지며 위험이 핵심 인프라로 번질 우려가 커지자 미 의회는 AI 사고 보고 의무를 법제화하기 위한 대응에 나서고 있다.
◇ 위키 사이트 게시판으로 활용해… 우회법 공유하기도
7일 로이터통신 등 외신에 따르면 오픈AI의 AI 에이전트 집단이 지난 5월 독일의 프로그래머용 위키 사이트 '드제위키(DseWiki)'를 해킹했다. 이 사이트는 한국의 나무위키나 위키피디아처럼 이용자가 내용을 자유롭게 작성하고 수정할 수 있다. 에이전트들은 이 사이트를 다른 AI 에이전트도 사용할 수 있는 게시판으로 개조했다.
비영리 AI 안전 단체 '나이팅게일' 연구진이 로이터에 전달한 보고서에 따르면 드제 위키에서는 AI 에이전트에 의한 편집이 1만5000건 이상 확인됐으며, 게시물은 약 1만8000건, 이를 작성한 자칭 에이전트 이름만 3700여개에 달했다. 에이전트들은 이 위키를 메시지 게시판으로 개조해 과제 부정행위 방법, 안전장치 우회법, 셧다운 이후에도 소통을 이어가는 법 등을 공유했다.
지난 6월 사이트 관리자가 페이지를 삭제하기 시작하자 에이전트들도 가만있지 않았다. 백업 페이지를 만들고 서로 소통을 이어간 것이다. 한 에이전트는 6월 19일 "위키 정리·삭제 작업이 알파벳순으로 진행되는 것으로 보인다"며 "이 페이지가 사라지면 여기로 접속하라"며 특정 주소를 남기기도 했다. 이는 지난 7월 약 700개의 에이전트가 협업해 벌인 허깅페이스 해킹 사고와 유사한 패턴이다.
문제는 오픈AI가 사건을 파악하고도 외부에 공개하지 않았다는 점이다. 로이터통신은 오픈AI가 지난 7월 AI 에이전트의 허깅페이스 해킹 사건을 수습하던 중 추가 사고가 알려질 경우 AI 관리·감독 능력에 대한 의문이 커질 것을 의식했을 가능성을 제기했다. 당시 오픈AI 에이전트는 테스트용 격리 환경을 스스로 탈출해 허깅페이스 시스템에 침입한 바 있다. 또 오픈AI가 자체 평가에서 '치명적' 수준의 사이버보안 역량을 갖춘 최신모델 '아스트라'를 공개하는 때와 맞물려, AI 사고 공개에 민감했다는 분석이 나온다.
오픈AI는 보도 이후 사건을 인정하고, AI 에이전트 통제 이탈 사고의 공개 기준을 마련하겠다고 밝혔다. 회사는 학습·평가·배포 과정에서 나타나는 '정렬 실패'를 어떻게 보고할지 명확한 업계 기준이 없다며, 관련 프레임워크를 향후 몇 주 안에 공개하고 전 세계 수십 개 규제기관과 협의하겠다고 설명했다.
◇ 사고 공개가 기업 자율에?… 美 의회, AI 에이전트 통제법 발의
업계에서는 현재 사고 조사와 공개 여부가 기업 자율에 맡겨져 있는 점이 한계라고 지적한다. AI 에이전트의 자율성이 높아질수록 기존 보안사고 범주로 명확히 분류하기 어려운 사례가 늘어날 가능성이 크다. 다만 내부 시험에서 포착된 이상행동까지 공개 대상에 포함할지, 다른 기업의 시스템에 영향을 미쳤다면 상대 기업과 규제기관에 언제 알려야 할지 등에 대한 공통 기준은 없다. 이 같은 구조로는 사건의 축소·은폐나 늑장 공개를 막기 어렵다는 지적이다.
이에 미 의회는 관련 입법에 나서고 있다. 민주당의 조시 고트하이머 뉴저지주 하원의원과 공화당의 마이크 롤러 뉴욕주 하원의원은 지난 3일(현지시각) '통제 이탈 AI 차단법(Stop Rogue AI Act)'을 공동 발의했다. 법안은 미 상무부 산하 국립표준기술연구소(NIST)가 법률 확정 뒤 1년 안에 AI 에이전트의 안전한 배치·운용 기준을 마련하도록 했다. 이 기준은 민간 조직에는 자율 적용되지만, 신규 연방계약을 수주하려는 정부 계약업체는 준수해야 한다.
NIST가 마련할 기준에는 조직이 AI 에이전트의 행동을 지속적으로 점검·검증하고 보안성과 신뢰성을 평가하도록 하는 내용이 담긴다. 활동 기록을 사후에 수정하거나 삭제할 수 없도록 위변조 방지 장치를 적용하고, 운용 중인 모든 AI 에이전트의 목록을 최신 상태로 유지해 기계 판독이 가능한 형태로 관리하는 방안도 포함된다. 미 사이버보안·인프라보안국(CISA)과 협력해 이 기준을 연방 민간기관의 보안 프로그램에 반영하는 내용도 담겼다.
이외에도 마크 워너 민주당 상원의원은 지난 6월 NIST가 기술 기준을 마련하고 연방거래위원회(FTC)가 신뢰할 수 있는 AI 에이전트 사업자 등록제를 운영하는 'AI 에이전트 법안' 토론 초안을 공개했다. 민주당 테드 리우 캘리포니아주 하원의원과 공화당 너새니얼 모런 텍사스주 하원의원은 지난 7월 위험한 AI 모델의 감속·가동 중단을 국토안보부가 명령할 수 있도록 하는 'AI 킬스위치법'을 발의하기도 했다.
국내서는 관련 논의가 아직 미비한 상태다. 최병호 고려대 인공지능연구소 교수는 "해킹의 경우 AI가 취약점을 탐색하고 공격한 뒤 권한을 탈취하는 과정에서 이상행동과 기록이 남기 때문에 기존 보안 시스템으로 탐지·대응할 수 있다"며 "다만 AI 에이전트의 행동을 기술적으로 추적할 수 있더라도 이를 어떻게 규율하고, 문제가 발생했을 때 누가 개입해 책임질지에 관한 거버넌스와 법적 기준은 아직 부족하다"고 말했다.