独自人工知能(AI)ファウンデーションモデル(独ファモ)事業の2次評価で脱落したモティフテクノロジーズが、詳細な評価基準の公開と再審議を要求した。

モティフは27日「独ファモ2次段階の選定結果に関し、正式に異議申立てを行った」として、声明と異議申立て事項を公開した。

モティフは、▲全体の評価項目別・企業別の詳細点数および評価内容の公開 ▲ベンチマーク評価の配点算定方式の根拠提示 ▲専門家評価の詳細基準および判断根拠の公開 ▲ユーザー評価の方法論とブラインド評価の適用有無の公開などを要求した。

モティフは「評価結果そのものは尊重して受け入れたが、報道によれば科学技術情報通信部(韓国の所管省庁)は、モティフ3はAAIIベンチマークの点数だけが高かっただけで、専門家評価とユーザー評価に問題があったと説明したと報じられた」とし、「一部メディアで報じられた科学技術情報通信部の高位関係者の発言では、モティフ3はベンチマーク点数に比べ実際の推論性能が不十分で、ユーザビリティと活用性が劣るとの評価まで言及された」と述べた。

続けて「こうした内容は、単にどの企業が選定されどの企業が脱落したかという次元を越え、独ファモ事業の本質と今後進むべき方向に対する根本的な疑問を提起するものだと考える」とし、「当社が追求してきた技術的な方向性とその成果物について一部誤解があるかもしれないとも考えるに至り、評価点数の詳細な公開と再審議を丁重に要請する」と述べた。

モティフの「モティフ3」は、グローバルAI総合性能指標であるAAIIで47点を獲得した。これはアップステージ(37点)、SKテレコム(35点)、LG AI研究院(31点)のモデルより高い点数である。

モティフは「AAIIの点数が最も低いLGの場合、前回の1次に比べモデル規模を2倍以上拡大したが、ベンチマーク点数の改善は微々たるものだった」とし、「最も性能が低いモデルが専門家評価で1位を占めたという結果に対する具体的な判断根拠を理解しがたい」と明らかにした。さらに「専門家評価の過程で、『コンソーシアムの主幹、参加企業のうち、外資や海外法人が議決権を持つ主要株主として参加している企業があるのか』のように、その目的を理解しにくい質問を文書で要請されたことがある」と述べた。

モティフは配点と専門家・ユーザー評価の方式に問題を提起した。独ファモ2次評価は、ベンチマーク評価40点(AAII25点・NIA15点)、専門家評価35点、ユーザー評価25点で構成され、AAIIベンチマークではモティフが25点満点中11.9点で1位となった。

モティフは、グローバルフロンティアモデルのAAII点数が63点だが、これを25点満点に換算すると15.75点にすぎず、モデル間の実際の性能差が評価点数に十分反映されにくいと明らかにした。

ユーザー評価についても「ブランド認知度や先入観が評価に影響を及ぼす可能性を排除しがたい」として、ブラインド評価方式の適用有無と詳細結果の公開を求めた。

もっともモティフは「異議申立ては当社が独ファモに選定されるべきだという主張のためではない」とし、「異議申立ての結果にかかわらず、独ファモ3次には参加しない」と明らかにした。

※ 本記事はAIで翻訳されています。ご意見はこちらのフォームから送信してください。