카카오가 자체 개발한 경량 소형언어모델(SLM) '카나나-2' 시리즈의 안전성 검증 결과를 18일 공개했다. 지난달 28일 오픈소스 플랫폼 허깅페이스에 내놓은 '카나나-2-1.3B-인스트럭트'와 '카나나-2-3B-인스트럭트'가 평가 대상이다.
두 모델은 비슷한 매개변수 규모의 구글 '젬마', 알리바바 '큐웬'과의 비교에서 나란히 종합 1위를 차지했다. 종합점수는 두 모델 모두 0.70이었다. 1.3B 모델은 젬마 0.68, 큐웬 0.58을 웃돌았고, 3B 모델도 젬마 0.66과 큐웬 0.62를 앞섰다. 세부적으로 1.3B 모델은 범죄·불법 행위 부문, 3B 모델은 성적 콘텐츠·아동 보호와 권리 침해 부문에서 상대적으로 높은 평가를 받았다.
검증에는 TTA와 KAIST, 카카오가 과학기술정보통신부 사업을 통해 공동 개발한 한국어 특화 안전성 벤치마크 '어써AI(AssurAI)'가 활용됐다. 한국의 사회·문화적 맥락을 반영한 어써AI는 35개 위험 유형에 걸쳐 9560개 문항으로 구성됐다. 카카오는 이를 사회적 위험, 성적 콘텐츠·아동 보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 영역으로 재분류해 유해성과 편향성을 측정했다. 평가에는 AI가 사전에 정한 기준에 따라 답변을 판정하는 'LLM 심사' 방식이 적용됐다.
카카오는 향후 공개하는 자체 AI 모델에 사전 안전성 검증을 상시 적용하고, 멀티모달 모델과 에이전틱 AI까지 평가 범위를 넓힐 계획이다. 카나나는 지난해 12월 정부 주도의 국내 첫 AI 안전성 평가에서도 유사 규모의 라마와 미스트랄보다 높은 점수를 받은 바 있다.