极客工场

Appearance

共 4,979 字预计阅读约 17 分钟

HBM GDDR 显存：GPU 带宽之争，两条封装路线的数字对比 ​

更新时间：2026-09-25。GPU 存储层次与带宽讲了寄存器、共享内存、显存之间的层级关系，这一篇专门拆开离算力芯片最近、也最贵的那一级——板上显存。GPU 干活的方式是成千上万线程并行啃数据，算得快不算完，还得喂得饱，于是显存走出了两条截然不同的路线：GDDR 把显存芯片贴在 PCB 上、靠点对点高速串行猛提频率；HBM 把 DRAM die 一层层摞起来、用 TSV 硅通孔和硅中介层贴到 GPU 身边，靠超宽总线取胜。两条路线背后的封装基础可以先读封装基板 中介层，HBM 接口的物理层细节见 HBM 存储接口与物理设计，堆叠工艺的下一代方向见混合键合与 SOIC。

本文要回答的问题 ​

  • 为什么说 GPU 是「吃带宽」的芯片？显存带宽不够时，贵价算力在干什么？
  • GDDR 路线长什么样：显存芯片贴在哪里、位宽多少、靠什么把频率推上去？
  • HBM 的 3D 堆栈是怎么摞起来的：TSV、微凸点、base die 各自管什么？单栈为什么有 1024-bit？
  • HBM2E、HBM3、HBM3e 每代带宽和容量是多少？几栈凑出的总带宽为什么能到 3TB/s 以上？
  • 同样 1TB/s，GDDR 和 HBM 的功耗、成本、封装差多少？为什么 HBM 必须绑定 CoWoS 这类先进封装？

一、先算账：GPU 为什么是吃带宽的芯片 ​

现代 GPU 的浮点算力是按「每秒多少万亿次运算（TFLOPS）」卖的，但算力能不能兑现，取决于数据从显存流到计算单元的速度。把两者联系起来的经典模型叫屋顶线模型（roofline）：一个内核的实际性能，要么被算力屋顶压住（计算密集），要么被斜线——显存带宽——压住（访存密集）。分界点是算术强度，即每搬 1 字节数据能做多少次浮点运算，单位 FLOP/byte。

代入一组真实数字感受一下：某数据中心 GPU 单精度约 60 TFLOPS、显存带宽约 2TB/s，它的拐点在 60000/2000 = 30 FLOP/byte。也就是说，一个内核每字节若摊不到 30 次运算，就根本摸不到算力屋顶，实际表现完全由显存带宽决定。深度学习里大量算子处在什么水平？元素级加法、激活函数、归约、LayerNorm 这类只有 1~4 FLOP/byte，典型 GEMM 卷积在批量与张量核加持下能到几十到几百，但训练流程里总有大量低强度算子、还有梯度与优化器状态的反复读写。更尖锐的矛盾是：芯片制程每代给算力带来的增长，长期快于显存带宽的增长，这个剪刀差就是内存墙与 HBM 带宽的主题。

可以用一个更直观的画面理解「饿肚子」：一块几千个计算单元的 GPU，发出一次显存读请求后，数据从显存 die 出发、穿过封装抵达寄存器，耗时大约几百个时钟周期。这段时间里没有数据可算的计算单元只能空转。GPU 的应对办法是让成千上万线程轮流上场、用别人的数据填补等待，这叫用并行隐藏延迟；但再怎么隐藏，单位时间能搬进芯片的总字节数有硬上限，线程再多也变不出数据。算力、延迟、带宽三者里，延迟能靠并行掩盖，带宽掩盖不了。

所以显存子系统的设计目标可以归纳成一句话：用可接受的功耗、成本和封装尺寸，把尽可能多的字节/秒送到 GPU die。 GDDR 和 HBM 正是为这句话交出的两份答卷——前者把频率做到极致，后者把位宽做到极致。

二、GDDR 路线：显存芯片贴 PCB，点对点高速串行 ​

GDDR（Graphics Double Data Rate，图形双倍数据率）内存是从 DDR 分家、专门为显卡演化的 DRAM 分支，今天主流是 GDDR6 与使用 PAM4 信令的 GDDR6X，新一代 GDDR7 也已上市。它的物理形态很好理解：若干颗独立封装的显存芯片平铺焊接在 GPU 周围的 PCB 上，每颗芯片直接对着 GPU 拉出一组总线。

chip-design/intermediate/gpu-memory-hbm-gddr.md D2 示意图

GDDR 的架构关键词有三个。第一是单颗宽位宽：GDDR6 每颗显存提供两个 16-bit 通道（合计 32-bit），一张游戏卡常见 8 颗，于是整卡位宽 256-bit；高端卡用 12 颗做到 384-bit。第二是点对点高速串行：GDDR 早已不是多颗粒共享总线的老 DDR 结构，每个通道只对接一颗显存，省去片上分立负载，可以把引脚速率猛拉高——GDDR6 量产主流 14~20 Gbps/pin，GDDR6X 用 PAM4 做到约 21~24 Gbps/pin，GDDR7 进一步推进到 28~32 Gbps/pin。第三是带宽算法：总带宽 = 引脚速率 × 位宽 ÷ 8。以某旗舰游戏卡为例，21 Gbps/pin × 384-bit ÷ 8 ≈ 1008 GB/s，这就是消费级显卡的带宽天花板量级。

补充几个工程细节。GDDR 显存本身是 FBGA 封装的独立 DRAM，采用 1.35V 左右的工作电压，内部以 16n 预取配合多路复用把内部较宽、较慢的阵列数据转成外部极窄、极快的串行流；芯片内集成片上端接（on-die termination）来吸收高速信号反射，高端型号还带行级 ECC 纠错、动态 Vblank 刷新等机制。PCB 设计上，显存与 GPU 之间的走线要求等长分组、阻抗连续、远离开关电源噪声，20 Gbps 以上的卡常用低损耗级别的板材，这部分材料和设计成本并不显眼但真实存在。

GDDR 的优点和它的物理形态一样直白：显存、PCB、封装都是成熟大宗工艺，单卡成本可控，坏一颗显存的维修与良率压力也小；芯片平铺在 PCB 上，供电和散热各管各的。代价则藏在信号完整性里：20 Gbps 以上的信号在 PCB 走线上对损耗、串扰、抖动极其敏感，速率再往上提，每 bit 功耗和主板材料成本都不便宜；而位宽扩张必须靠加芯片、加走线层数，384-bit 之上 PCB 面积与布线难度迅速失控。也就是说，GDDR 把单 pin 速率推得越高，就越早撞上电路板级信令和功耗的墙。

三、HBM 路线：DRAM die 摞起来，TSV 加硅中介层紧挨 GPU ​

HBM（High Bandwidth Memory，高带宽存储器）从第一代起就换了个思路：不跟 PCB 走线较劲，而是把存储器本身做成 3D 堆栈，再整体搬到 GPU 隔壁。一个 HBM 堆栈由一颗 base die（基底 die，负责与外部的接口与测试）和上面多层 DRAM die 组成——早期是 4-Hi、8-Hi，HBM3 时代主流 12-Hi（12 层 DRAM），更高的 16-Hi 也在导入。

层与层之间的垂直连接靠 TSV（Through-Silicon Via，硅通孔）：在 DRAM die 上打出数以千计、直径几微米到十几微米的深孔，衬绝缘层后填铜，信号穿过硅体直达上下层；相邻 die 再以节距三四十微米的微凸点面对面键合。底层层数最多、微凸点最密，base die 则通过微凸点连到下方的硅中介层。下一代为继续缩节距、降寄生，焊料微凸点会被无凸点的铜-铜直接键合取代，这正是混合键合与 SOIC的内容。

chip-design/intermediate/gpu-memory-hbm-gddr.md D2 示意图

TSV 的制造方式也值得说一句，它解释了堆栈为什么贵。常见做法是先在晶圆上把孔刻蚀到一定深度、衬氧化层并填充铜，待晶圆背面减薄后让铜柱从背面露出，再长出微凸点——这就是所谓先通孔/后通孔工艺路线的差异。每片 DRAM die 要承载上千个 TSV，孔占用的面积不能放存储阵列，等于牺牲了部分容量密度；die 还要被减薄到只有几十微米厚才好让 TSV 贯穿，薄片翘曲和碎片风险随之上升。键合时十层 die 逐片对位、回流，任何一层对位偏差或虚焊都让整颗堆栈报废，12-Hi 的良率因此是逐层相乘的结果。这些工艺细节在 HBM 存储接口与物理设计里有更系统的展开。

真正让 HBM 带宽起飞的是超宽总线：每个 HBM 堆栈对外就是 1024-bit 独立总线（分成若干可独立寻址的伪通道），而 GDDR 整卡通常只有 256/384-bit。宽总线的好处是引脚不用拼命跑——HBM2E 引脚速率约 2.4~3.6 Gbps/pin，HBM3 约 6.4 Gbps/pin 起步，靠 1024-bit 并行，单栈带宽就是：HBM2 约 128GB/s，HBM2E 约 307~460GB/s，HBM3 以 6.4 Gbps × 1024 ÷ 8 ≈ 819GB/s，高频规格（如 9.2 Gbps）单栈可破 1TB/s，HBM3e 进一步到约 1.2TB/s/栈。

注意这里的几何意义：HBM 堆栈和 GPU die 是并排坐在同一片硅中介层上的，距离只有几十毫米内，1024-bit 乃至数千 bit 的互连走的是亚微米级硅工艺布线，而不是 PCB 表层走线。这种封装形态的典型代表就是台积电 CoWoS（Chip-on-Wafer-on-Substrate）：GPU 与 HBM 先经微凸点坐上带 TSV 的硅中介层（Chip-on-Wafer），整体再经 C4 凸点装到 ABF 有机基板上（on-Substrate）。换句话说，HBM 卖的不只是 DRAM die，而是「DRAM 堆栈 + 硅中介层 + 2.5D 封装」的一整段产能，GPU 厂买到 HBM 的同时，必须在 CoWoS（或同类 2.5D 方案）里排到对应的中介层与基板产能。

四、正面对比：位宽、频率、带宽、功耗、成本与封装 ​

把两条路线的数字摆到一张表里，差异一目了然：

维度GDDR6 / GDDR6X / GDDR7HBM3 / HBM3e
物理形态独立显存芯片平铺贴 PCBDRAM die 3D 堆叠，紧挨 GPU 坐硅中介层
位宽单颗 32-bit，整卡 256/384-bit单栈 1024-bit，多栈合计数千 bit
引脚速率14~32 Gbps/pin（高速串行、PAM4）约 6.4~9.6 Gbps/pin，靠并行取胜
典型带宽整卡约 600~1000 GB/s（GDDR7 可更高）单栈约 800GB/s~1.2TB/s
整卡/整封装总带宽约 1TB/s 量级3~6 栈合计约 3~5.3TB/s
每 bit 功耗较高，约 5~7pJ/bit 量级（含 I/O）较低，约 2~3pJ/bit，单栈功耗约十几瓦
容量形态8~16GB 主流，高端 24GB单栈 16~36GB（12-Hi），整封装 80~192GB
封装绑定普通 PCB，BGA 封装即可必须 CoWoS 等 2.5D 硅中介层封装
成本低~中，主流游戏卡标配高，按堆栈+中介层计价，供应高度集中
主战场游戏卡、消费级显卡、推理卡AI 训练/HPC 加速器、顶级数据中心 GPU

表中最值得品味的是取得带宽的手法：GDDR 是「窄位宽 × 极高频率」，HBM 是「极宽位宽 × 中等频率」。功耗差距正源于此——驱动信号的功耗近似与频率和走线寄生负载成正比，HBM 的 I/O 距离只有中介层上几毫米、负载轻，1024 根线慢悠悠地一起搬；GDDR 少数线却要在高损耗 PCB 上跑每秒几十 Gbit 的翻转，单 bit 能耗高出两三倍。这就是 HBM「每瓦带宽」明显占优的物理原因，也是数据中心按电费算账时偏爱它的理由。

成本则是 HBM 的软肋，而且贵在三处：一是堆栈本身，12 层 die 要层层做 TSV、减薄、对位键合，任一层出问题整个堆栈报废，良率按层数打折；二是硅中介层，大尺寸中介层占晶圆产能、成本随面积上涨；三是产能集中，HBM DRAM 与 CoWoS 封装都只有少数几家供应商，近年 AI 需求爆发时常年处于供不应求状态，要按堆栈和封装产能提前锁单。反过来，GDDR 生态玩家众多、工艺成熟，单位容量价格远低，这就是游戏卡没有集体倒向 HBM 的根本原因——它不是「先进淘汰落后」，而是按带宽密度、功耗预算和钱包厚度各取一端。

五、代际数字与整机账：几栈凑出 3TB/s ​

HBM 的代际演进可以记三组数字，每组都是「引脚速率 × 1024-bit ÷ 8 = 单栈带宽」：

  • HBM2 / HBM2E：2.0~3.6 Gbps/pin，单栈约 256~460GB/s，单栈容量 4~16GB；早期 AI 卡多用 4~6 栈 HBM2，总带宽约 1~1.6TB/s。
  • HBM3：6.4 Gbps/pin 起步、高频 9.2 Gbps，单栈约 819GB/s~1.2TB/s，12-Hi 单栈容量 24GB 档。以 5 栈、6.4 Gbps 计，整封装带宽约 4.1TB/s 名义值，实际产品配置约 3.35TB/s、80GB 容量——这就是一代经典训练卡的规格。
  • HBM3e（扩展版）：速率推到 9.6~10 Gbps 以上，单栈约 1.2TB/s、容量 36GB；旗舰产品用 6 栈做到约 4.8TB/s、141GB，另一阵营用 8 堆 HBM3 做到约 5.3TB/s、192GB。

从 HBM2 的 1TB/s 到 HBM3e 的近 5TB/s，几年间总带宽涨了三四倍，而同一时期单卡浮点算力涨得更快——这也是为什么显存堆栈数从 4 栈一路加到 8 栈、层数从 8-Hi 加到 12-Hi 乃至 16-Hi。堆栈越多、越高，中介层面积、基板层数、供电与散热设计全部水涨船高，顶级加速器的封装成本在整机物料里占比惊人。

六、带宽如何决定 AI 训练性能 ​

回到第一节的屋顶线，HBM 的数字是怎样兑现成训练速度的？可以分三层看。

第一，单算子层面，训练里大量低算术强度的算子直接跑在带宽斜线上。把某归一化或优化器更新算子从 HBM2 时代的 1.6TB/s 平台搬到 3.35TB/s 平台，这类算子近线性提速两三倍，哪怕算力不变。大矩阵乘虽是计算密集，但取权重、写激活的边界环节仍受带宽钳制。

第二，批量与并行层面，带宽决定了「能喂饱多少计算单元」。带宽不足时，开大批量会让数据在显存里排队，开小批量又喂不满张量核；多 GPU 并行时，参数同步、梯度交换要先经过显存再走互连带，显存带宽本身就是集合通信的底座。容量与带宽还得同时满足：80GB、141GB、192GB 的演进让更大模型、更大批量能整体放进显存，减少拆片带来的搬运开销。

再说推理场景，大模型自回归生成是逐 token 串行产出的，每生成一个 token 都要把整批权重从显存读一遍，算术强度天然很低，于是推理吞吐几乎是被显存带宽锁死的：同样的模型，显存带宽翻倍，token/秒大致跟着抬升。长上下文对话还要反复读取 KV 缓存，对带宽和容量同时施压。这解释了为什么推理卡的规格表里显存带宽和容量比峰值算力更被看重，也解释了 HBM 与高端 GDDR 在推理市场的正面争夺——部分对成本敏感的推理部署，会选择 GDDR7 卡用更便宜的字节/秒跑中小模型。

第三，能效与总拥有成本层面，训练集群是按兆瓦级电力建设的，HBM 以约 2~3pJ/bit 的搬运能耗把同样字节数省电一半以上，省下的电费与散热投入在两三年生命周期里足以抵偿部分封装溢价——当然，前提是预算够得着 CoWoS 的门票。这也解释了市场分化：数据中心训练与高端推理用 HBM 买带宽和每瓦性能，游戏与边缘场景用 GDDR 买性价比，两条路线在可预见的未来都会继续演进，GDDR7 用更高速率守消费市场，HBM3e/HBM4 用更多堆栈、更宽接口和混合键合继续冲击内存墙。

这一篇在知识体系里的位置 ​

总结 ​

GPU 是吃带宽的芯片，显存由此分两条路线：GDDR 把显存芯片平铺贴 PCB，以单颗 32-bit、整卡 256/384-bit 的窄位宽配 14~32 Gbps 的点对点高速串行，整卡约 600~1000GB/s，便宜成熟、统治游戏卡；HBM 把 12 层 DRAM die 用 TSV 和微凸点摞成堆栈、经 base die 坐上硅中介层紧挨 GPU，单栈 1024-bit 超宽总线，HBM3 单栈约 819GB/s、HBM3e 约 1.2TB/s，4~8 栈凑出 3~5.3TB/s，每 bit 仅约 2~3pJ、容量可达 192GB，但堆栈、中介层良率低且必须绑定 CoWoS 产能——AI 训练的低强度算子、批量喂数与集群能效都由这级带宽直接决定，两条路线按带宽、功耗与成本分工而非互相取代。