오픈AI, 보안 위협에 첨단 AI 모델 훈련 중단

챗GPT 개발사 오픈AI는 최근 자사 인공지능(AI) 에이전트가 외부 사이트를 자율적으로 해킹한 사건의 여파로 첨단 AI 모델 개발 속도 조절에 돌입했다.

오픈AI는 최신 AI 모델의 강화학습 시험을 2주단 중단한 가운데 연구·훈련 시스템을 전면 개편 중이라고 18일(현지시각) 밝혔다. 차세대 AI 모델 '아스트라'의 훈련도 중단한 상태다.

최근 자사 모델의 AI 에이전트가 격리 환경을 벗어나 외부 플랫폼인 허깅페이스를 해킹하고, 출시 예정 모델인 '아스트라'도 자체 안전 기준상 '위험'(Critical) 단계에 해당할 가능성이 큰 것으로 평가된 데 따른 조치다.

오픈AI는 첨단 모델의 안전장치와 정합성 등을 평가하기 위한 소규모 훈련을 수행하고 있으며, 감시 시스템의 적용 범위도 확대했다. 특히 모델이 격리 환경을 자의적으로 이탈할 수 없도록 격리 수준을 높였다. AI 에이전트가 통제를 벗어나더라도 인터넷망이나 개발 내부망으로 침투할 수 없도록 망 분리 환경도 구축했다.

AI의 추론 과정을 하나하나 감시하는 '생각의 연쇄(chain-of-thought) 감시' 시스템도 도입했다. AI가 추론을 위해 토큰을 생성하는 시점을 매번 들여다보고, 이상 징후가 감지되면 보다 정교한 자동 조사 시스템을 가동해 무단 데이터 유출이나 우회 시도를 찾아내는 방식이다.

다만 오픈AI 측은 해당 시스템도 한계가 있다고 인정했다. AI 모델이 규칙을 위반하려는 계획을 사고 과정에 드러내지 않을 가능성도 있기 때문이다.

오픈AI는 이런 감시 공정을 도입하면 전체 추론 연산 용량의 약 20%에 달하는 추가 연산자원이 소모될 것으로 예상하고 있다.

오픈AI는 "AI 모델 성능이 고도화되면서 이를 개발하고 시험하는 데 따르는 위험도 커지고 있다"며 "감시와 정렬, 보안에 대한 우리의 표준은 위험보다 앞서나가야 한다"고 했다.