사이버 보안 기업 카스퍼스키는 거대언어모델(LLM)을 악용하고 일반적인 인공지능(AI) 안전장치나 규정을 우회해 사이버 공격을 감행하고 데이터를 탈취하는 '다크 AI'가 기승을 부리고 있다고 18일 밝혔다.
특히 아시아태평양 지역에서 다크 AI를 통해 더 정교하고 은밀한 공격이 증가할 것이라고 카스퍼스키는 전망했다. 카스퍼스키에 따르면 다크 AI는 비제한 LLM을 전체 프레임워크 또는 챗봇 시스템 내에 배치해 악의적·비윤리적·비인가 목적에 사용하는 것을 의미한다.
세르게이 로즈킨 카스퍼스키 중동·북아프리카(META) 및 아태 지역 글로벌 연구 분석팀 총괄 책임자는 "악의적인 행위자들 공격 역량을 강화하는 데 AI를 사용하고 있다"라며 "이제 사이버 보안과 사회 전반에서 AI가 방패가 되고, 다크 AI가 검이 되는 시대에 진입하고 있다"라고 말했다.
로즈킨 책임자는 현재 가장 일반적이고 널리 알려진 악의적 AI 활용 방식으로 '블랫햇 GPT'를 지목했다. 지난 2023년 중반 등장한 이 공격 수법은 악의적 코드 생성, 대량 표적 공격용 피싱 이메일 작성, 음성·영상 딥페이크 생성, 레드팀 작전 지원을 위해 의도적으로 구축되거나 수정된 AI 모델을 의미한다. '블랫햇 GPT'는 비공개 또는 준공개 AI 모델로 알려졌으며, 사이버 범죄, 사기, 자동화 공격을 지원하도록 설계되었거나 변형됐다. 실제 챗GPT 개발사 오픈AI는 최근 자사의 AI 도구를 악용하려는 사이버 작전 20건 이상을 방해했다고 발표한 바 있다.
로즈킨 책임자는 "현재 국가 배후 공격자들이 LLM을 작전에서 활용하고 있다"라며 "앞으로 공격자들이 공공·사설 위협 생태계에서 생성형 AI를 무기화하기 위한 더욱 교묘한 방법들을 개발할 것으로 예상된다"고 했다.
오픈AI 보고서를 보면, 악의적 행위자들은 LLM을 사용해 설득력 있는 가짜 인물을 생성한 뒤 피해자를 속이고 기존 보안 필터를 우회하기 위한 다국어 콘텐츠를 제작했다.
로즈킨 책임자는 "AI는 본질적으로 옳고 그름을 구별하지 못하며, 단지 명령어를 따를 뿐이다"라며 "기업과 개인은 AI 기반 위협 탐지 기술에 투자해 다크 AI 도구 어떻게 악용될 수 있는지에 대해 계속 학습해야 한다"고 강조했다.