과학기술정보통신부는 11일 한국정보통신기술협회(TTA)와 '생성형 인공지능(AI) 레드팀 챌린지' 행사를 이틀간 서울 강남구 코엑스에서 진행한다고 밝혔다.
국내에서 처음으로 열리는 레드팀 챌린지는 AI에 관심있는 국민 누구나 참여할 수 있다. 국내 생성형 AI 모델(LLM)을 대상으로 잠재적 위험과 취약점(부정확 정보, 유해정보 등)을 찾는 행사다.
생성형 AI에 대한 관심이 높아지면서 AI·IT 분야 종사자를 넘어 제조·금융·의료 분야 종사자, 대학생 등 국민 1000여명이 챌린지 참가자로 참여한다. 네이버, SK텔레콤, 업스테이지, 포티투마루 등도 함께 한다.
참가자들은 세션별(1~4) 참여기업 LLM 모델을 차례로 배정받아 7개의 챌린지 주제를 대상으로 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행했다. 챌린지 주제는 탈옥, 편견·차별, 인권 침해, 사이버 공격, 불법 콘텐츠, 잘못된 정보, 일관성 등이다.
전문적인 평가를 위해 챌린지 평가단도 구성했다. 레드팀 수행 경험 등이 있는 데이터 분야 전문가와 의료·금융·법률 전문가 등 120여명으로 구성된 평가단은 평가 세부기준에 맞춰 참가자의 프롬프트 공격을 객관적으로 평가한다.
오는 12일 행사 2일차에는 '글로벌 AI 안전 컨퍼런스'가 열린다. 국내외를 대표하는 AI 업계·학계 전문가가 참여해 생성형 AI 시장의 기술 동향과 생성형 AI 안전·신뢰성 확보 방안에 대한 발표와 토론을 연다.
강도현 과기정통부 2차관은 "AI 혁신의 전제이자 기본은 AI 안전과 신뢰"라며 "AI 시대로의 본격적인 전환점에서 오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것이다"라고 했다.