KTは高麗大学と共同開発したマルチモーダル大規模言語モデル(MLLM)ベンチマーク「KSAFE-MM」を公開したと16日明らかにした。

KSAFE-MMは、グローバル共通のリスクを韓国文化の文脈に変換した「KSAFE-MM-G」と、チョンセ(韓国特有の賃貸制度)詐欺や独島(竹島)をめぐる係争といった韓国社会固有のイシューを反映した「KSAFE-MM-C」で構成される。合計1万4135件の評価サンプルで構成され、韓国内最大規模の韓国語マルチモーダル安全性評価データセットである。グーグル「Gemma」、NAVER「HyperCLOVA X」など12のグローバルなマルチモーダル大規模言語モデル(MLLM)を検証した。

KTの社員がKSAFE-MMを開発する様子。/KT提供

特に、自動化した汎用パイプライン(Pipeline:データ収集から配布までを包括する作業プロセス)を提示した点が特徴である。従来のベンチマークは手動検収が中心でコストがかかり、効率も高くない。

KSAFE-MMは、現地コミュニティベースのセンシティブな主題収集から、テンプレートベースのクエリ(Query・ユーザーがAIモデルに入力する質問)生成、合成画像生成、人工知能(AI)の安全装置や倫理制限を巧妙に回避するよう変形された脱獄クエリ(Jailbreak Query)生成に至るまで、全工程を網羅する4段階の自動化パイプラインを実装した。

これは特定の文化圏の専門家がいなくても、現地の特性を反映した安全性ベンチマークを迅速に構築できる標準フレームワークを提供し、コストを下げて効率を高められることを意味する。KT・高麗大学の共同研究陣は、同一パイプラインを日本語に適用したパイロット実験(JSAFE-MM-C)を通じて、世界のいかなる文化圏にも即時適用可能であることを実証した。

KTは研究結果およびベンチマークをarXivとHugging Faceに公開した。

※ 本記事はAIで翻訳されています。ご意見はこちらのフォームから送信してください。