생성형 인공지능(AI) 확산과 함께 AI 모델의 내부 작동 원리를 파악하려는 사이버 공격 시도가 늘고 있는 것으로 나타났다.
구글 위협정보그룹(GTIG)과 구글 딥마인드는 13일 발표한 'AI 위협 추적 보고서'에서 지난해 4분기 생성형 AI를 대상으로 한 모델 추출 및 증류 공격 사례가 확인됐다고 밝혔다.
모델 추출·증류 공격은 AI 모델의 추론 및 사고 과정을 분석해 이를 복제하거나 내부 구조를 파악하려는 시도다. 보고서는 AI 모델이 공격자에 의해 조작될 경우 의도와 다른 방식으로 작동해 혼란을 초래할 수 있다고 지적했다.
다만 현재까지 확인된 사례는 사이버 공격보다는 모델의 논리를 복제하려는 민간 기업이나 연구자에 의해 이뤄진 경우가 많았다고 분석했다. 주요 표적은 구글의 생성형 AI 모델 '제미나이'였다.
보고서는 또 중국과 러시아 등 국가 지원을 받는 사이버 공격 조직들이 전반적인 위협 활동에 AI를 활용하는 사례가 일상화되고 있다고 밝혔다.
이란 정부 지원 해킹 조직 APT42는 표적형 소셜 엔지니어링 기법을 고도화하는 데 AI 모델을 활용했으며, 북한 지원 해커 그룹 UNC2970은 방위 산업체를 겨냥한 공격 과정에서 제미나이를 이용해 계획 수립과 정찰 활동을 진행한 것으로 나타났다.
구글이 영어권 및 러시아어권 다크웹 커뮤니티를 분석한 결과, 위협 행위자들은 자체 모델을 개발하기보다 상용 AI 모델을 활용하는 경향을 보였다. 보고서는 최근 API 키 탈취와 도용 사례가 늘어나는 점이 이러한 흐름을 반영한다고 설명했다.