과학기술정보통신부는 21일 한국정보통신기술협회(TTA)와 '생성형 인공지능(AI) 레드팀 챌린지' 행사를 다음 달 11일부터 이틀간 서울 강남구 코엑스에서 개최, 행사 참가자 1000명을 모집한다고 밝혔다.
AI 레드팀은 통제된 환경에서 적대적 방법을 사용해 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등 결함‧취약성을 식별하기 위한 구조화된 테스트 활동을 말한다. 오픈AI, 구글, 네이버클라우드 등 국내‧외 AI 기업도 자체 AI 레드팀을 구성·운영하는 등 AI 기업이 AI 안전·신뢰성을 확보할 수 있는 핵심적인 방법으로 주목받고 있다.
과기정통부는 민간이 자율적으로 AI 안전과 신뢰성을 확보할 수 있도록 지원하기 위해 레드팀 챌린지 행사를 마련했다.
행사 1일차에 열리는 레드팀 챌린지는 네이버클라우드, SK텔레콤, 업스테이지, 포티투마루 등 국내를 대표하는 AI 기업의 모델을 대상으로 1000명의 참가자가 잠재적 위험과 취약점을 식별하는 공개 챌린지 방식으로 진행된다. 2일차에는 국내외 대표 AI 기업과 기관, 전문가가 참여하는 글로벌 AI 안전 컨퍼런스를 연다. 생성형 AI 안전 및 신뢰성 확보방안을 논의한다.
과기정통부는 이번 레드팀 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출한다. 동시에 업계에서 활용할 수 있는 생성형 AI 레드팀 수행가이드라인을 마련하는 등 표준화된 AI 위험 발굴 및 대응체계를 구축한다.
챌린지 참가 희망자는 다음 달 10일까지 행사 홈페이지에서 신청할 수 있다. AI 모델의 위험 및 취약점을 가장 많이 발견한 5명의 우수 참가자에게는 과기정통부 장관상 등을 포함해 총 1700만원 규모의 상금이 제공된다.
강도현 과기정통부 2차관은 "이번 레드팀 챌린지 행사를 계기로 AI를 활용하는 일반국민도 AI 윤리의 중요성에 대한 인식이 확대되기를 기대한다"라며 "이번 행사가 글로벌 차원에서도 AI 안전성 확보의 모범사례가 될 수 있기를 바란다"라고 했다.