./TelePIX

宇宙人工知能(AI)ソリューション企業のTelePIXは、航空宇宙専門の技術文書検索AIモデル「ピクシー1.0(PIXIE-v1.0)」が、検索ベンチマークRTEB(Retrieval Embedding Benchmark・検索エンベディング性能評価指標)におけるパラメーター10億(1B)個以下のモデル部門で世界2位を記録したと3日明らかにした。

ピクシー1.0は、航空宇宙・衛星・国防など高度な専門技術文書を対象に意味ベース検索を可能にするよう設計された、航空宇宙ドメイン特化の情報検索モデルである。衛星設計文書、技術仕様書、運用マニュアルなど膨大な航空宇宙技術文書を自然言語のクエリでより容易に検索できるように設計した。衛星用エージェントAIソリューション「サットチャット(SatCHAT)」の性能高度化のために開発され、先に公開した「ピクシー・プレビュー(PIXIE-Preview)」に続く1.0では、ドメイン特化検索性能を定量的に検証することに重点を置いた。

ピクシー1.0と競合したモデルには、グローバル大手テック企業や研究機関が公開した多数のエンベディングモデルが含まれた。RTEBは、既存のエンベディングモデル評価標準として活用されてきたMTEB(Massive Text Embedding Benchmark・大規模テキストエンベディングベンチマークのリーダーボード)を拡張した次世代検索ベンチマークである。テストデータ中心のスコア競争ではなく、実際の産業環境におけるAIモデルの情報検索性能を評価することに焦点を当てた。法律・金融・医療・コードなど高難度ドメインを基盤に、モデルの実質的な産業活用可能性を検証できる。

当該部門の1位モデルを含め大半は法律・金融・医療・コードなど複数ドメインを包含する汎用モデルである一方、TelePIXのピクシー1.0は航空宇宙ドメインと韓英の技術文書に集中したにもかかわらず、グローバル上位の成果を上げたと会社側は説明した。

会社側は、今回の結果はモデル規模の拡張ではなく、ドメイン特化データの整備と学習品質の改善だけでも高い検索性能を達成できることを示した事例だと評価した。とりわけ専門用語と略語が複雑に絡む航空宇宙文書環境でも意味ベース検索が安定的に作動し、産業現場への適用可能性を確認したという説明である。

またTelePIXは、RTEBで直接は扱われない韓国語を含む多言語の航空宇宙ドメイン検索性能を検証するため、自社で構築した検索ベンチマーク「ステラ(STELLA)」を活用した追加評価を実施した。その結果、ピクシー1.0はパラメーター規模に比して高い検索精度を示し、言語・ドメイン特化の検索能力を安定的に確保したとTelePIX側は説明した。ステラは航空宇宙専門文書を基に構成した多言語情報検索ベンチマークで、航空宇宙ドメインに特化した公開検索評価基準がほとんどない現実的な制約を補完するために設計した。

TelePIXはピクシー1.0をオープンソースとして公開しており、RAG(Retrieval-Augmented Generation)ベースのAIシステムで専門技術文書検索の中核モデルとして活用できると見込んでいる。

クォン・ダロンセTelePIXデータサイエンス部門長は「今回公開したピクシー1.0はプレビュー段階で示した方向性を維持しつつ、航空宇宙ドメインの検索性能をより安定的に高度化することに集中し、性能評価で優れた成績を収めた」と述べ、「ピクシーとステラが今後、ドメイン特化情報検索の研究と実際の応用のための基礎資料として活用されることを期待する」と語った。

※ 本記事はAIで翻訳されています。ご意見はこちらのフォームから送信してください。