카카오가 스마트폰과 개인용 컴퓨터에서 구동할 수 있는 자체 경량언어모델(SLM)을 외부에 개방한다. 대규모언어모델(LLM)뿐 아니라 온디바이스 AI 분야에서도 기술 경쟁력을 확보하고, 국내 개발 생태계의 활용 기반을 넓히겠다는 전략이다.
카카오는 28일 글로벌 AI 플랫폼 허깅페이스를 통해 '카나나2' 경량 모델 4종을 공개했다. 매개변수 13억개와 30억개 규모의 기본형(base)·지시형(instruct) 모델로 구성됐다. 모두 상업적 이용이 가능한 '카나나 오픈 라이선스'가 적용돼 기업과 연구기관, 개발자가 서비스 개발에 활용할 수 있다.
카카오는 이번 모델에 자체 개발한 한국어 특화 토크나이저를 탑재했다. 문장을 AI가 처리할 수 있는 단위로 나누는 방식을 한국어에 맞게 개선해 기존보다 처리 효율을 30% 이상 높였다는 설명이다. 같은 문장을 더 적은 토큰으로 변환할 수 있어 연산 시간과 비용을 줄이는 효과가 있다.
제한된 메모리를 효율적으로 활용하는 '슬라이딩 윈도우 어텐션' 기술도 적용했다. 최대 3만2000토큰 길이의 대화를 처리하면서 메모리 사용량을 최대 72.7% 절감할 수 있다. 한국어와 영어, 수학, 코딩, 도구 호출 등 주요 평가에서도 비슷한 규모의 큐원(Qwen), 젬마(Gemma) 등과 경쟁 가능한 성능을 확보했다고 회사 측은 밝혔다.
카카오는 경량 AI 모델을 카카오톡 대화·통화 요약, '카나나 인 카카오톡', AI 국민비서 등에 활용하고 있다. 노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "클라우드 기반 대형 AI와 온디바이스 AI 역량을 함께 강화해 국내 AI 서비스 개발 활성화에 기여하겠다"고 말했다.