최근 인공지능(AI) 기술이 고도화되면서 정치권, 연예계 등 공인을 겨냥한 AI 조작 논란이 잇따르고 있다. 실제 발언이나 행동이 아닌 AI로 합성된 이미지·영상이 온라인을 통해 빠르게 확산하며, 공인의 이미지와 신뢰도가 훼손되는 사례가 발생하고 있다. 이에 대응하기 위해 업계에서는 '가짜 AI'를 잡는 AI 기술 개발이 본격화하고 있다.
26일 관련 업계에 따르면 최근 공인을 악용한 AI 조작 콘텐츠가 확산하며 사회적 논란이 커지고 있다. 연예계에서는 배우 김수현과 고 김새론의 미성년 시절 교제 의혹을 둘러싸고 AI 조작 논란이 제기됐고, 배우 이이경을 둘러싼 사생활 논란 역시 조작된 증거가 유포되며 여론이 악화됐다. 정치권에서도 특정 정치인의 발언이나 행동을 왜곡한 딥페이크 영상이 공유되며 선거 국면에서 악용됐다. 또 축구선수 손흥민이나 호날두 등 스포츠 스타가 온라인 도박 사이트를 추천하는 것처럼 영상과 음성을 조작하는 사례가 적발됐다.
이에 업계에서는 '가짜 AI'를 구분하는 AI 개발이 본격화하고 있다. AI가 생성한 허위 정보와 조작 콘텐츠를 다시 AI가 판별하고 걸러내는 방식이다. 생성형 AI 기술이 고도화될수록 인간의 육안이나 청각만으로는 한계가 명확해지면서 기술 기반 탐지 시스템의 필요성이 커졌기 때문이다.
한컴그룹 계열사 한컴위드는 딥러닝 기반 영상 분석 기술을 활용해 딥페이크 여부를 판별하는 시스템을 개발 중이다. 한컴위드는 현재 경찰청이 주관하는 '허위조작 콘텐츠 진위 판별 시스템 개발' 국제 공동연구에 참여하고 있으며, 독일 부퍼탈대와 함께 연구를 수행 중이다. 이번 연구는 생성형 AI 확산으로 증가하는 허위조작 콘텐츠에 대응하기 위해 2027년까지 진행되며, 신뢰도 높은 데이터셋 구축과 통합 탐지 시스템 개발을 목표로 한다.
딥브레인AI는 지난달 문화기술 연구개발 사업을 통해 기존 딥페이크 탐지 범위를 생성형 AI 기반 콘텐츠로 확장했다. 구글 비오(Veo)와 오픈AI 소라(Sora) 등 최신 글로벌 영상 생성 플랫폼에서 제작된 이미지와 영상까지 탐지할 수 있다. 해당 기능은 API(응용프로그램 인터페이스) 형태로 제공돼 외부 기업과 기관은 별도 시스템 구축 없이 검증 기능을 연계해 활용할 수 있다. 또 이 회사는 딥페이크 탐지 솔루션 'AI 디텍터'를 다수 공공기관, 금융, 교육 등에 제공하고 있다. 이 기술은 픽셀 단위 차이를 분석해 딥페이크 여부를 판별하는 기술이 적용돼 있다.
누리랩은 지난달 AI 알고리즘과 메타데이터 분석 기술을 결합한 딥페이크 탐지 기술 관련 국내 특허를 등록했다. 이 특허는 '딥페이크 생성물 탐지 방법 및 이를 수행하는 장치'에 대한 기술로, 기존 AI 알고리즘에 더해 메타데이터 분석을 통해 탐지 정확도를 높인 점이 특징이다. 누리랩에 따르면 기존 AI를 활용한 탐지 기술은 이미지나 영상의 픽셀 분석에 주로 의존하는데, 메타데이터 분석 기술은 딥페이크 생성·수정 기록, 저장 포맷, 압축 정보 등 딥페이크 생성물의 비정상적인 패턴에 대한 식별이 가능하다.
향후 이 같은 탐지 솔루션 개발은 더욱 활발해질 것으로 보인다. 생성형 AI 확산과 함께 허위·조작 정보로 인한 사회적 피해에 대한 경각심이 높아지고 있기 때문이다. 보안업계 관계자는 "생성형 AI 기술이 빠르게 확산하며 콘텐츠 진위를 구별하는 일이 사회 전반의 중요한 과제로 떠오르고 있다"며 "AI를 악용한 콘텐츠는 사람이 육안으로 구분하기 힘든 만큼, 관련 데이터가 쌓이면서 이를 판정하는 AI 기술이 도입될 것으로 보인다"고 말했다.