韓国政府が「国家代表AI」を選別するとして推進中の「独自AIファウンデーションモデル（独ファモ）」で雑音が続いている。第2次評価でグローバルベンチマークAAIIの最高点を得たモティフテクノロジーズが脱落したためだ。「敗者復活戦」を経て遅れて合流したチームが性能1位にもかかわらず脱落する仕組みが妥当かという疑問や、科学技術情報通信部が遅れて細部の点数を公開した過程が滑らかでないとの指摘が出ている。
◇ グローバルベンチマーク1位が脱落する評価
28日、科学技術情報通信部によると、モティフはAAIIベンチマーク評価（25点満点）で1位を占めたが、NIAベンチマーク評価（15点満点）、専門家評価（35点満点）、ユーザー評価（25点満点）で4位となり、最終4位で脱落した。総合点1位はSKテレコム（70.6点）、2位はアップステージ（69.9点）、3位はLG AI研究院（69.0点）である。モティフは65.8点を受けた。
AAIIベンチマークは、科学技術情報通信部が第2次評価の信頼性・公正性確保のために新たに導入した評価方式である。同部は当時「世界の有力グローバルビッグテックでさえ高得点を得にくい高い公信力のベンチマーク」と述べた。モティフはAAIIで47点を取り、参加4モデルのうち1位で、グローバルでも10位に入った。
ベンチマークが果たしてモデルの性能を適切に評価できるのかという指摘や、モティフがベンチマーク点を引き上げる、いわゆる「ベンチマキシング」を行ったのではないかという論争が出たが、評価の配点算定方式に問題があるというモティフの主張にも説得力がある。グローバル最高水準のモデルであるAnthropicのOpus 5はAAIIスコアが63点だが、これを25点満点に換算すると15.75点にすぎず、モデル間の実際の性能差が評価点数に十分反映されないということだ。実際の第2次評価では、AAIIベンチマーク点はモティフ11.9点、アップステージ9.4点、SKテレコム8.8点、LG AI研究院7.8点だった。15点満点のNIAベンチマーク点は12.7〜13.4点に分布した一方、25点満点のAAIIベンチマーク点は7.8〜11.9点に分布した。また参加社のベンチマキシングはなかったとAAII評価機関が明らかにした。
第1次評価でベンチマーク、専門家、ユーザーの3評価項目をすべて席巻し、90.2点（5チーム平均79.7点）で圧倒的1位だったLG AI研究院は第2次評価で3位に後退したが、これを見ると政府の評価方式変更により順位が完全に入れ替わることも分かる。第2次評価で新たに追加されたAAIIベンチマークでLG AI研究院が最低点を受け、順位が下がったためだ。
また1〜3位の最終評価点が69.0〜70.6点と僅差の状況で、評価委員個人の点数傾向が順位に与える影響が小さくないことが分かった。科学技術情報通信部が前日に公開した専門家評価（35点満点）の細部点数を見ると、評価委員10人のうち「委員7」はアップステージに30点を与える一方、LG AI研究院に24点、SKテレコムに20点、モティフに17点を付けた。点数の偏差を大きく取る配点傾向で、最低点と最高点の差が13点に達した。対照的に他の評価委員は最低点と最高点の差が平均4.6点にとどまり、配点差が小さい。政府は最高点・最低点を除いた残りの評価点数を算術平均する方式を導入したが、「委員7」がLG AI研究院・SKテレコム・モティフに与えた点数はいずれも10人中最低点で反映されなかった一方、アップステージに与えた30点は最高点ではなかったため反映された。
偏差がひときわ大きい「委員7」を除き、同じ方式で専門家評価点を再算出すると、2位アップステージと3位LG AI研究院の総合点差は0.9点から0.1点台に縮まる。
◇ 手続きも滑らかでない
過程も滑らかではなかった。科学技術情報通信部は8月18日に第2次結果を発表する際、進出・脱落の可否のみを公開し、進出チームの順位と細部点数は示さなかった。税金が投入される事業なのに順位すら明かさないとの批判が相次ぐと、20日には下位チームの「烙印効果」を理由に項目別1位チームなどのみを部分公開した。全項目の点数が明らかになったのは、モティフが立場文を出し全面公開を要求した後だった。先の第1次評価でNAVERクラウドが「独自性」基準の不充足で脱落したことと、その後予定になかった敗者復活戦を実施したことも、政策の信頼性および公正性の論争を招いた。公正性への疑念は、アップステージとハ・ジョンウ前大統領府AI未来企画首席関連の利益相反論争で増幅した。
根本的に独ファモ事業の目標と評価の物差しが食い違っているとの指摘も出ている。独ファモはフロンティアAIモデル比で95%以上の性能を目標に始まったが、第2次の配点はベンチマーク（40点）よりも人が付ける専門家・ユーザー評価（60点）に重きが置かれた。業界では、ユーザビリティ向上やサービス拡散はEveryone's AI事業で扱うべきことであり、技術力を競う独ファモ事業の核心の物差しとすべきなのかと反問している。
方式の限界は政府も認めている。裵慶勲（ペ・ギョンフン）副首相兼科学技術情報通信部長官は「1年半前に策定された評価や競争方式が3〜6カ月単位で急変するAIトレンドに依然として有効か、根本的な考慮が必要な時点だ」とし、「誰もが認める世界水準のモデルを作るため、政府投資の集中方式と評価制度の補完を検討する」と述べた。
キム・ジャンヒョン成均館大教授は「モデル自体がいくら高度化しても、利用者の受容性が低ければその性能の意味が半減する側面がある」としつつも、「大規模言語モデル（LLM）の性能を少しでも高めるため、世界的に膨大な競争が展開されており、単なる数値競争のように見えるが、実際には多様な側面をテストした点数を比較するもので、ベンチマークはそれほど単純ではない」と語った。続けて「政府が今回論争となったユーザビリティ部分の審査基準をより精緻化すべきだ」と述べた。