グーグルが人工知能（AI）の学習と推論に特化した第8世代テンソルプロセッシングユニット（TPU）を公開した。業界でエヌビディアのグラフィックス処理装置（GPU）の対抗馬として注目されてきたグーグルのTPUは、今回の第8世代製品で従来より学習速度を3倍に高め、超低遅延の推論性能を実現した。
グーグルは22日（現地時間）、米国ラスベガスのマンダレイベイ・コンベンションセンターで開かれた「Google Cloud Next」イベントで、学習と推論に最適化した「TPU 8t」と「TPU 8i」を披露した.
TPUはグーグルが継続的に開発している自社AIサービスに特化したアプリケーション固有集積回路（ASIC）である。電力供給構造を最適化し、エヌビディアのGPUより電力効率が高いとの評価を受けている。2015年初めにグーグルクラウドのデータセンターに初めて配備されて以降、エヌビディアのGPUへの依存度を下げるうえで中核的な役割を果たしている。
まずTPU 8tは、高い演算スループットと共有高帯域幅メモリー（HBM）などを活用し、前作の第7世代「アイアンウッド」と比べて学習性能を3倍に引き上げた。またチップ間接続（ICI）技術を活用してチップを最大9,600個まで、HBM容量を最大2PB（ペタバイト）まで拡張した。グーグルによると、当該TPUで最先端AIモデルの開発に要する時間を数カ月から数週間へ短縮できるという。
推論に最適化したTPU 8iは、HBM 288GBに高速のSRAM 384MBを併載し、さらにチップ間のデータ移動経路を半分以上短縮した。AIサービスの応答速度をより迅速に支援するという意味である。一般的なAIチャットボットの応答をはじめ、ロボットやエージェントを駆動する際に作業のボトルネックが発生するのを防げるという説明だ。電力効率も大きく引き上げ、前世代製品よりドル当たり性能を80%高めた。
トーマス・クリアン・グーグルクラウドCEOはAIチップを2種類に分けた理由について、「生成AIが広範に拡散したとき、人々は学習に最適化したシステムと推論に合わせたシステムをそれぞれ望むと判断した」と述べ、「AIインフラの拡張において電力が制約要因になると予想し、設計段階からエネルギー効率を最大化することに重点を置いた」と明らかにした。