一个被反复提及的瓶颈

在讨论 AI 算力时，人们常关注芯片的浮点运算能力（FLOPS）。但在实际训练中，另一项指标往往更致命：内存带宽。

为什么

大模型训练的过程，可以粗略理解为：把大量参数从内存搬到计算单元，做完矩阵运算，再把结果搬回去。

计算单元的算力增长很快，但内存带宽的增长慢得多。这个不匹配被称为"内存墙"（Memory Wall）。

结果是：很多时候，昂贵的计算单元在等待数据从内存搬过来，利用率远低于理论峰值。

HBM 的做法

高带宽内存（High Bandwidth Memory，HBM）的核心思路是两点：

第一，加宽数据通道。 传统显存（GDDR）通过较窄的接口以很高的频率传输数据；而 HBM 采用极宽的接口（每颗 1024 位甚至更宽），以相对较低的频率传输，总带宽反而更高，且功耗更低。

第二，垂直堆叠。 通过硅通孔（Through-Silicon Via，TSV）技术，把多个 DRAM 裸片在垂直方向堆叠起来，再通过中介层（Interposer）与计算芯片并排封装在一起。

为什么是"并排"而不是"叠在上面"

把内存直接叠在计算芯片正上方，散热会成问题——计算芯片是主要热源，上面盖着内存会严重影响散热。

因此主流方案是通过硅中介层（Interposer）：计算芯片和 HBM 并排放置在同一块中介层上，中介层内部有高密度走线负责互连。这样互连距离短、带宽高，同时热量可以从顶部散出。

代价

HBM 的成本显著高于传统显存，且产能受限。它需要使用 TSV、精密堆叠和先进封装，工艺复杂，良率是挑战。

据报道，2026 年下半年将进入国产算力大规模落地量产元年。对 AI 芯片而言，能否获得稳定的 HBM 供应，与能否造出高性能计算核心同等重要。

说明：本文技术原理为公开知识，产业信息引自央广网报道。