앞으로 대부분의 개인정보 침해 사고는 주민등록번호나 금융정보 등 개인식별정보(PII)의 직접적인 유출이 아니라 인공지능(AI)이 개인에 대해 생성한 추론에서 비롯될 것이란 전망이 나왔다.
가트너는 3일 발간한 '개인정보 보호 전망: AI·감시 기술 확산에 따른 혼란 대응과 개인 보호 전략' 보고서에서 2029년까지 AI 추론 기반 개인정보 보호 위험이 커질 것이라면서 이같이 밝혔다.
가트너는 기업들이 규제와 비용 부담을 이유로 개인 데이터 보유량을 줄이고 있지만, 생성형 AI와 머신러닝 기술의 발전으로 공격자들은 익명·집계 데이터만으로도 개인 건강 상태나 행동 패턴 같은 민감한 정보를 추론할 수 있게 됐다고 설명했다.
바트 빌렘센(Bart Willemsen) 가트너 수석 애널리스트는 "개인정보 침해 양상이 데이터 유출에서 인사이트 유출로 바뀌고 있다"며 "개인정보 보호 위험은 데이터 노출보다 AI 알고리즘이 개인에 대해 추론하는 내용에서 더 많이 발생하고 있다"고 말했다.
추론 공격은 기존 탐지 체계에 포착되지 않는 경우가 많아 더 위험하다고 가트너는 경고했다. 실제 정보가 유출되지 않더라도 AI가 도출한 결론을 통해 개인 민감 정보가 드러날 수 있기 때문이다. 빌렘센 애널리스트는 "이는 데이터 무결성을 훼손하고 탐지와 설명, 완화가 어려운 개인정보 침해 위험을 초래한다"고 했다.
이에 따라 기업들의 개인정보 보호 전략을 재점검할 것으로 예상된다. 보안 담당자는 개인정보를 보호하는 데 그치지 않고, AI 시스템이 개인에 관한 인사이트를 어떻게 생성하고 활용하며, 이를 기반으로 어떻게 행동하는지까지 관리해야 한다는 게 가트너의 설명이다.
가트너는 기업들이 AI 프로필의 오류와 편향, 무단 생성 위험에 대한 대응을 강화하면서 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 비슷한 수준에 이를 것으로 내다봤다.
빌렘센 애널리스트는 "개인정보를 데이터 보호의 문제로만 인식하는 기업은 AI 생성 추론으로 인한 개인정보 침해 사고에 갈수록 취약해질 것"이라며 "향후 개인정보 보호 위험은 기업의 데이터 저장 방식보다 AI의 데이터 해석 방식에 더 크게 좌우될 것"이라고 말했다.