SKハイニックスが人工知能(AI)アクセラレーターとサーバー間のデータ転送ボトルネックを低減する次世代光接続技術である「CPO(Co-Packaged Optics)」の発展方向を示した。CPOは光送受信機をプロセッサーと同一パッケージ内に収め、従来の銅配線の代わりに光でデータをやり取りする技術である.
SKハイニックスはグローバル研究陣とともにAIと高性能コンピューティング(HPC)のためのCPO技術を分析した論文「高性能コンピューティングおよび人工知能のためのCPO技術(Co-packaged optics for high-performance computing and artificial intelligence)」を国際学術誌「ネイチャー・エレクトロニクス(Nature Electronics)」に掲載したと20日明らかにした.
研究にはホン・スンフンSKハイニックスAIインフラチーム長とイ・ギュサン米国バージニア大学電気・コンピューター工学科教授が責任著者として参加した。イリノイ大学アーバナ・シャンペーン(UIUC)、南洋理工大学(NTU)、マサチューセッツ工科大学(MIT)、延世大学の研究陣も共同研究に参加した.
研究陣がCPOに注目したのは、AIシステムが大型化するにつれ演算性能よりデータ移動速度が相対的に遅くなる「帯域幅の壁(Bandwidth Wall)」が現れているためである。帯域幅は一定時間内に伝送できるデータ量を意味する.
論文によると、演算性能は2年ごとに約3倍ずつ向上する一方、データ伝送帯域幅は同期間に約1.4倍の増加にとどまっている。数千個のグラフィックス処理装置(GPU)と高帯域幅メモリー(HBM)を接続した大規模AIシステムでは、チップ自体の演算能力だけでなく、チップとサーバー間でデータをいかに速く移せるかが全体性能を左右する.
現在データセンターでは短距離のデータ伝送に主として銅配線を使用している。しかし伝送距離と速度が増すと信号が弱まり、これを補うための電力消費と伝送遅延が大きくなる.
イ・ギュサン教授は「演算チップ性能が向上しても、チップ間のデータ移動能力がそれに追いつかなければシステム全体の性能は上がらない」と述べ、「物理的な限界を抱える銅配線の代わりに光でデータを移すことが最も有力な拡張経路だ」と語った.
CPOはこうした問題を抑えるため、データの電気信号を光に変換する光送受信機をプロセッサーの近くに配置する。高速電気信号が移動すべき距離を縮め、残りの区間を光信号で接続する方式である.
ホン・チーム長はCPOについて「チップ同士が長い電気配線の代わりに光でデータをやり取りできるよう、光送受信機(TRx)をプロセッサーと同一パッケージ内に収める技術だ」と説明した.
研究陣は、CPOを活用すればチップだけでなくサーバーが設置されるラック(Rack)や複数ラックを束ねたシステム間でもデータ伝送範囲を広げつつ、電力消費を抑えられると説明した。ラックはGPUやサーバーなどデータセンター機器を設置する標準構造物である.
論文は次世代AIインフラが目標とすべきCPO性能も示した。1つのコンピューティングノードで毎秒100テラビット(Tb/s)以上のデータを伝送しつつ、ビット(bit)当たりのエネルギー消費を1ピコジュール(pJ)未満に抑え、チップ間データ伝送遅延時間を10ナノ秒(ns)未満に縮めることが目標だ.
パッケージング構造も現在の平面配置からチップをより近接して接続する方向に進化すると展望した。研究陣は、チップを同一基板上に配置する従来の2次元(2D)パッケージングから、複数チップを中間接続板であるインターポーザー上に載せる2.5次元(2.5D)、異なる機能のチップを垂直に積層する3次元(3D)異種集積へとCPOが発展するとみる.
長期的には光接続をプロセッサーだけでなくメモリーまで拡大する案も示した。いわゆる「オプティクス中心(Optics-Centric)」構造である。プロセッサーとメモリーを光信号で直接接続し、現在の半導体パッケージ内で生じる配線と空間の制約を減らす方式だ.
この構造を適用すれば、複数のAIアクセラレーターが1つの大規模メモリー資源を共同で使用する「メモリープール(Memory Pool)」を構成できる。必要なメモリーを特定アクセラレーター周辺にすべて配置する代わりに、複数アクセラレーターが共有することで、AIモデル規模が拡大する際にメモリー容量をより柔軟に拡張できるという説明だ.
イ教授は「光接続をメモリーまで拡張すれば、演算チップ周辺の物理的制約を回避してメモリー容量と配線数の限界を克服できる」と述べ、「複数のアクセラレーターが巨大なメモリープールを共有でき、AIモデルの大規模化に一段と柔軟に対応するようになる」と語った.
商用化に向けて解決すべき課題も残る。光素子の電力消費を下げ、異なる半導体と光素子を1つのパッケージに安定的に集積しなければならない。量産工程では歩留まりと原価、冷却、信頼性の問題も解決する必要がある.
イ教授は「関連技術はすでに実験室を離れ産業化の入り口に入った」と述べ、「低消費電力光素子の集積から整合性プロトコル、信頼性技術まで解くべき課題は多いが、結局のところ核心はメモリー素子とコントローラー、光素子、パッケージを1つのシステムとして共同設計(Co-design)することだ」と語った.
ホン・チーム長は「学界の専門性と産業界の現場経験が結び付き、AIインフラの将来方向をともに示した点で意義がある」と述べ、「今後も顧客と産業エコシステムに実質的な価値を提供できるオープンな協業を継続的に拡大していく」と語った.