人工知能（AI）モデルの軽量化・最適化技術企業のNotaは、アップステージと共に参加している政府の独自AIファウンデーションモデルプロジェクトの第2次成果物である「Solar Open 2（ソラ・オープン2）」専用の軽量化モデルを27日に公開した。

ソラ・オープン2は、文書業務やコーディング、ツール呼び出し、多段階推論など実際の企業業務に活用できるエージェントAIの実装に焦点を当てた大規模言語モデル（LLM）である。パラメーターは合計2,500億個を備え、実際の作業時には必要な150億個のみを有効化する「MoE（専門家混合）」構造を採用した。1つのモデル内にある複数の演算モジュールのうち一部のみを選択して作動させ、演算効率を高める方式である.

Notaはモデル重みを4ビット形式に変換し、重要度の低い演算モジュールを選別的に整理して、元のモデルの重みメモリーを500.6ギガバイト（GB）から117.8GBへと約76.5%削減したと明らかにした。メモリー容量基準でNVIDIA H100グラフィックス処理装置（GPU）8枚が必要だった元のモデルを、2枚の環境でも駆動できるよう最適化した。

キム・テホNota最高技術責任者（CTO）は「今回の成果は、大規模MoEモデルを企業が実際に導入できる形に最適化した点に意味がある」と述べ、「企業が自社のインフラと予算に合わせてエージェントAIを導入し活用範囲を拡張できるよう、モデル構造とハードウェア環境に最適化した量子化および軽量化技術を継続して高度化していく」と語った。

ソラ・オープン2専用の軽量化モデルは、オープンソースAIプラットフォームのHugging Faceで確認できる。

※ 本記事はAIで翻訳されています。ご意見はこちらのフォームから送信してください。