アップルが大規模人工知能（AI）モデルのメモリー使用量を最大15分の1に抑える技術を保有するスタートアップと協議を進めていると伝えられている。技術検証に成功すれば、SiriのAI演算をクラウドではなくiPhone内部で処理するオンデバイス戦略が一段と強化される見通しだ。
米経済専門局CNBCによると、カリフォルニア工科大学からスピンアウトしたPrismMLは、中国アリババのオープンソースモデル「Qwen」を圧縮したモデル2種を公開した。同社は約54GB規模の270億パラメーターのモデルを4GB未満に縮小し、iPhone15以降の製品でも実行できると説明した。
PrismMLはモデル重みの表現単位を単純化し、メモリー使用量を10〜15倍削減する技術を開発した。これにより処理速度は6〜8倍高め、電力消費は3〜6倍低減できると主張している。ババク・ハシビ最高経営責任者（CEO）は、アップルを含む複数の企業が関連技術を評価していると明らかにした。
ただし高い圧縮率には性能低下が伴う可能性がある。ハシビCEOも、事実情報を記憶したり正確に答える能力が一部低下する場合があると認めた。実際の商用化の可否は、数多くの問い合わせと多様な機器環境で安定性を確保できるかにかかっているとの分析が出ている。
アップルは比較的単純なAI作業は端末内部で処理し、複雑な要求は「プライベートクラウドコンピュート」に回す二元構造を運用している。超軽量モデルが適用されれば、オフラインでもより多くの機能を実行し、応答遅延とサーバー運用コストを抑えると同時に個人情報保護水準も高められる。
AIモデルの軽量化が広がれば、データセンター向け高帯域幅メモリー（HBM）需要が鈍化するとの見方も出ている。一方で、演算需要が消えるのではなくスマートフォンやPCに移るため、半導体全体の需要減少にはつながらないとの反論もある。常時稼働に伴うバッテリー消耗も解決すべき課題に挙げられる。