카이스트 연구진이 마이크로소프트(MS)의 글로벌 인공지능(AI) 안전성 연구 프로그램에 국내 기관 중 유일하게 선정됐다.
손수엘 카이스트 전산학부 교수 연구진은 MS AI 레드팀이 운영하는 '외부 레드팀 연합(EXTRA)'의 연구 지원 대상에 포함됐다고 28일 밝혔다.
EXTRA는 대학과 연구기관이 외부 관점에서 AI 시스템의 보안 취약점과 안전성을 점검하도록 지원하는 프로그램이다. 사이버보안과 다국어 환경, 문화적 맥락, AI 정렬, 기술 악용 가능성 등 기업 내부 조직만으로 검증하기 어려운 위험을 폭넓게 다루기 위해 마련됐다.
이번 프로그램에는 6개 대륙의 10여 대학이 참여한다. 국내에서는 카이스트가 유일하다. 손 교수 연구진은 연구 기간에 별도 제한이 없는 기프트 어워드 방식으로 2만5000달러(약 3650만원)를 지원받는다.
연구진은 생성형 AI와 대규모 언어모델(LLM)의 보안 및 개인정보 보호 기술을 연구하고 있다. 모델 탈취와 개인정보 추출, 프롬프트 주입, 멤버십 추론 등 AI 시스템을 겨냥한 공격 기법을 분석하고 방어 기술을 개발하는 것이 주요 과제다.
웹 에이전트와 에이전틱 브라우저처럼 실제 서비스에서 활용되는 AI 에이전트의 보안성도 연구할 계획이다. 외부 입력이나 악성 명령으로 인해 AI가 의도하지 않은 작업을 수행하는 문제를 줄이는 시스템 수준의 방어 기술을 다룬다.
손수엘 교수는 "AI가 실제 서비스에 빠르게 적용되면서 성능뿐 아니라 안전성과 신뢰성을 확보하는 일이 중요해졌다"며 "현장에서 발생할 수 있는 보안 위협을 분석하고 대응 기술을 개발하겠다"고 말했다.