カカオのカナナ-2が韓国語AI安全性で首位

カカオが自社開発した軽量小型言語モデル（SLM）「カナナ-2」シリーズの安全性検証結果を18日に公開した。先月28日にオープンソースプラットフォームのハギングフェイスに公開した「カナナ-2-1.3B-インストラクト」と「カナナ-2-3B-インストラクト」が評価対象である。

2つのモデルは、類似のパラメーター規模のグーグル「ジェンマ」、アリババ「キューウェン」との比較で並んで総合1位を獲得した。総合スコアは両モデルとも0.70だった。1.3Bモデルはジェンマ0.68、キューウェン0.58を上回り、3Bモデルもジェンマ0.66とキューウェン0.62を凌いだ。詳細では、1.3Bモデルは犯罪・不法行為部門、3Bモデルは性的コンテンツ・児童保護および権利侵害部門で相対的に高い評価を受けた。

検証にはTTAとKAIST、カカオが科学技術情報通信部の事業を通じて共同開発した韓国語特化の安全性ベンチマーク「アッサーAI（AssurAI）」が活用された。韓国の社会・文化的文脈を反映したアッサーAIは、35のリスク類型にわたり9,560問で構成された。カカオはこれを社会的リスク、性的コンテンツ・児童保護、犯罪・不法行為、暴力、権利侵害など5領域に再分類し、有害性とバイアスを測定した。評価には、AIが事前に定めた基準に従って回答を判定する「LLM審査」方式が適用された。

カカオは今後公開する自社AIモデルに事前の安全性検証を常時適用し、マルチモーダルモデルとエージェンティックAIまで評価範囲を広げる計画だ。カナナは2025年12月に政府主導で実施された韓国初のAI安全性評価でも、類似規模のラマとミストラルより高いスコアを得た経緯がある。