サムスン電子・SKハイニックスが人工知能（AI）市場の変化に合わせ、高帯域幅フラッシュ（HBF）を次世代の収益源として注目している。SKハイニックスが米国のメモリー半導体企業サンディスクと「HBF標準」策定手続きに着手し、サムスン電子より速く市場対応に乗り出したとの評価が出ている。
サムスン電子も最近、HBF関連の特許を相次いで取得するなど、関連技術の確保に積極的な姿勢が観測されている。業界によると、サムスン電子は2020年代初頭からHBF関連の研究を継続してきたと伝えられる。SKハイニックスのように公式発表はしていないが、着実にHBF領域で事業拡張の可能性を見極めてきた格好だ。
両社はグラフィックス処理装置（GPU）などAIチップの中核部品である高帯域幅メモリー（HBM）を生産し、巨額の収益を上げている。揮発性記憶装置であるDRAMを積層してデータ転送速度を高めたHBMは、供給が需要に追いつかないほど多くのAIサービスを駆動するために使われている。
ただしAIサービスが商用化段階に入るにつれ、既存の「学習」から実際の性能に影響を与える「推論」へと重心が移り、HBMの技術的限界も表れている。揮発性メモリーを基盤とするHBMは、容量を増やしにくい構造的制約がある。AIサービスがパーソナライズされるほど記憶すべきデータ量が増えている状況だ。
これを非揮発性記憶装置であるNANDフラッシュを積層したHBFで解決しようとする試みが進んでいる。HBF需要が2038年頃にHBM需要を上回る可能性があるとの見方も出ている。DRAMは電源供給時のみデータを保持するが、NANDフラッシュは電源が切れても保存データが消えない。
◇「メモリーのボトルネック」を解消したHBM、AIの必需品として定着
HBFが「次世代の収益源」として浮上した背景を理解するには、まずHBMがどのようにAIの必需品として地位を固めたのかを確認する必要がある。HBFが「HBMの限界」を克服する代替策とみなされているためだ。
AIは演算の結果である。AI登場前までは直列処理方式の中央処理装置（CPU）がコンピューターのオペレーティングシステムに必要な演算を担っていた。メモリーはCPUが必要とするデータだけを提供すればよく、大容量は必要なかった。一方でAIは膨大なパラメーターを基盤とする。大規模な行列積とベクトル演算が必要だが、既存の直列方式でこれを一つずつ処理すると時間がかかる。並列演算に特化したGPUがAIにはより適していたわけだ。同一のAIモデルの演算をGPUで行うと、CPUより処理時間を約50%短縮できるという研究結果もある。
ここで新たな問題が生じる。GPUにデータを供給するDRAMの容量・速度がCPUに合わせられており、最大効率を発揮できなかった。過去にはCPU演算が完了するまでDRAMがデータ供給を待つ「演算のボトルネック現象」が現れたが、GPUではその逆の「メモリーのボトルネック現象」が発生する。DRAMからデータ供給を受けられずGPUが演算を停止して待機すると、効率は落ちるしかない。HBMはDRAMを積層してデータの通路を広げ、GPUが要求する並列演算に合った性能を発揮し「AI時代の中核部品」として浮上した。大規模言語モデル（LLM）の性能が直近1〜2年で大幅に向上できた背景には、GPUとHBMの結合があったと言っても過言ではない。
◇ AI推論時代、HBMが限界に直面…HBFが代替に
AIが実サービスとして提供されるには、遅延なく動作する「推論」性能が重要だ。主要ビッグテックがAIサービスの収益化を図る動きを見せ、市場の中心が従来の学習から推論へ移ったとの評価が出ている。
AIサービスを同時に利用するユーザーが急増し、HBM中心の既存メモリー構造だけでは推論段階で要求される大容量データ処理と電力効率を同時に満たすのが難しい。業界によると、ChatGPTに搭載されたGPT-4モデルの場合、推論に3.6テラバイト（TB）が必要だが、現在の第5世代HBM（HBM3E）がGPUに提供する容量は約192ギガバイト（GB）にとどまる。推論要求にGPUを6〜7基束ねて使用する必要があり、これはサービス提供に必要なコスト上昇につながる。モデルがさらに大きく精緻になるほどコストが上がり、遅延が長くなる問題が生じる。
パーソナライズされたAIサービスもHBMの限界を浮き彫りにする要因となっている。AIが利用者の行動・会話を記憶し、文脈に合った回答を行うには、より多くのデータを保存しておく必要がある。HBMは電源が切れるとデータも消えるため連続性を担保しにくく、容量を大幅に増やすのにも適していない。
大量のデータを保存しておき、迅速に演算装置へ提供できる「新しいメモリー」が必要になっている背景だ。ソリッドステートドライブ（SSD）もNANDフラッシュを使うが、データ転送速度が遅すぎてAIには適さない。
◇ DRAMより構造が複雑なNAND…「技術難題を解く企業が市場を先取り」
HBFはこのようなHBM中心のメモリー構造の限界を克服する技術と目される。非揮発性メモリーでありながら、HBMと同水準の演算アクセス性を示すと期待されるためだ。すでにDRAMを積層して同様の効果が観測されており、NANDフラッシュでも同じアプローチが進んでいる。
HBFが商用化されたとしてもHBMが市場から消えることはない見通しだ。AIチップを構成する際、HBFをHBMとSSDの間に配置して性能を引き上げる方式が有力だからだ。超高速メモリーであるHBMと大容量ストレージであるSSDの特性の間で生じる「空白」を埋め、推論領域で要求される容量拡張・電力効率を同時に確保する狙いである。
ただしHBFを実装するにはいくつかの技術的難題が存在する。すでに平面（2D）構造のセルを垂直に積み上げた3次元（3D）NANDフラッシュが一般的に使われているためだ。すでに数百段を積層した構造で用いられており、DRAMを積むより構造が複雑だ。このためHBMのようにシリコン貫通電極（TSV・半導体に微細な孔を開け上下チップを垂直に接続するパッケージング技術）工程をそのまま適用すると歩留まりが大幅に低下する。現在、業界ではこのため3D NANDフラッシュを丸ごと積層してHBFを実装する方式が議論されている。半導体業界関係者は「技術自体が挑戦的で、HBMよりHBFの実装難度が高い」と述べた。
データの処理順序を定める技術も難しい。HBM下段に位置する「ロジックダイ」は多数のDRAMを制御する役割を担う。HBFも複数のNANDフラッシュに並列で同時アクセスし資料処理の順序を定める「コントローラー」が必要だ。ただしNANDフラッシュは構造的に入出力速度が遅く、AIの性能に見合うコントローラーを設計するにも根本的な革新が必要だとの分析が出ている。半導体業界関係者は「コントローラーの性能を引き上げるため、アクセス様式を予測してデータを先読みする類の技術開発が議論されている」と述べた。
サムスン電子とSKハイニックスはHBFが持つ市場可能性に着目し、実装に必要な技術難題を解決する多様な方式を試している。サムスン電子は3次元立体構造の半導体トランジスター技術である「フィンフェット」（FinFET）構造をコントローラーに組み合わせてHBFを実装する形で開発に取り組んでいるとされる。SKハイニックスはHBMにも適用したVFO（チップと回路を接続するワイヤーを曲線から垂直に変えた半導体パッケージング技術）工程をHBFにも適用し、歩留まり問題を解決する形で開発を進めている。TSVで貫通させる方式の代わりに、チップ外周に沿って垂直に接続する構造でHBFを実装するということだ。
ある市場調査会社の研究員は「HBFが商用化されればHBMのようにメモリー半導体市場の『ゲームチェンジャー』になり得る」とし、「サムスン電子とSKハイニックスの双方が基盤技術の確保を進めているだけに、実装に必要な難題を解く企業が次世代市場を先取りすると見る」と述べた。