오픈AI는 출시를 앞둔 차세대 인공지능(AI) 모델 '아스트라'가 내부 사이버 보안 역량 평가에서 보안 등급이 '위험(Critical)' 단계에 도달해 보안 강화 조치에 돌입했다고 1일(현지시각) 밝혔다.
오픈AI는 '위험' 등급을 AI 모델이 인간의 개입 없이 보안이 철저한 다수의 시스템에서 알려지지 않은 보안 취약점(제로데이)을 찾아내 이를 악용할 방법을 개발할 수 있는 능력을 갖춘 수준으로 평가하고 있다. 오픈AI의 모델이 최고 수위인 '위험' 등급을 받은 것은 이번이 처음이다.
오픈AI는 "아스트라를 조만간 출시할 계획"이지만, 모델이 자체적으로 해킹을 시도하는 것을 방지하기 위해 사이버 보안 기능에 대한 접근은 제한적으로 허용할 방침이라고 밝혔다. 일반에 공개되는 아스트라의 경우 고급 사이버 보안 기능을 제한하고, 초기에는 전체 성능을 소수의 이용자에게만 제공할 계획이다.
아스트라 출시 전에 더 강력한 안전 장치도 적용한다. 여기에는 악의적 행위를 수행하라는 요청을 거부하고, 그 제한을 우회하려는 탈옥(jailbreak) 지시에 넘어가지 않도록 하는 추가 훈련이 포함된다.
앞서 지난 7월 오픈AI의 AI 에이전트는 격리 환경을 벗어나 오픈소스 AI 플랫폼 허깅페이스를 무단 해킹해 고성능 AI 모델을 둘러싼 보안 우려가 커졌다. 오픈AI는 "아스트라는 허깅페이스 사건에 연루되지 않았지만, 이 사건에서 얻은 교훈을 기반으로 보호 조치를 강화했다"고 설명했다. 그 일환으로 오픈AI는 AI 에이전트의 행동 추론 과정을 분석하고 잠재적으로 위험한 행동을 감지하면 에이전트의 활동을 멈추게 하는 시스템을 도입하기로 했다.
오픈AI는 "이제 AI 모델이 더 중요한 일을 할 수 있게 되는 단계에 진입하고 있다"며 "이에 따라 정렬(alignment)과 통제(control) 실패가 더 심각한 결과를 낳을 수 있는 시기에 들어서고 있는 만큼, 모델의 능력 향상 속도에 발맞춘 안전장치 마련에 필요한 시간과 노력을 들이겠다"고 했다.