AI 加速卡对比

采购清单上的 AI 加速卡越来越多：有单卡 700W 的训练旗舰，有 350W 的推理优化卡，还有 72W 的低功耗通用卡。厂商 datasheet 上的数字一个比一个大，TOPS（每秒万亿次运算）动辄上千，但把两家旗舰的数字直接相除，往往得不出任何正确结论——因为精度口径、稠密还是稀疏、是否配套专用互联，全都藏在脚注里。这一篇做一次系统的 AI 加速卡对比，把选型真正要看的维度摊开来讲。

前置知识可以先补三篇：算力与显存带宽谁先触顶，看 Roofline 模型：算力与带宽的屋顶线；低精度格式的硬件含义，看 混合精度：FP16、BF16 与 FP8；卡间为什么要高速直连，看 NVLink 多 GPU 互联。

本文要回答的问题

• datasheet 上的 TOPS 为什么不能直接横向比较？FP16、BF16、FP8、INT8 的数字差几倍？
• HBM 显存的容量和带宽，在训练和推理里分别怎样约束模型规模与吞吐？
• NVLink、厂商自研互联、以太网在数据中心里各自承担什么角色？
• 一张卡 300-700W 的 TDP 意味着什么？机架供电和散热如何反过来限制选型？
• 为什么说实测吞吐和 MFU（有效算力利用率）比峰值算力重要得多？

一、先对齐口径：峰值算力的精度陷阱

AI 加速卡对比的第一条纪律：先问精度，再看数字。同一块芯片在不同数值精度下的峰值算力可以相差数倍。以当代训练旗舰的公开规格量级为例：FP64 双精度通常只有几十 TFLOPS，FP16/BF16 半精度在数百到近千 TFLOPS，FP8 8 位浮点再翻倍到约两千 TFLOPS 量级，INT8 整数算力与 FP8 接近但不可互换比较。

为什么差这么多？芯片上的运算单元是物理电路：一个 FP16 乘加器占用的硅面积和功耗，大约可以做成两个 FP8 乘加器；而 INT8 在很多推理芯片上还能用更紧凑的脉动阵列堆得更密。所以厂商宣传的"最高 XXXX TOPS"，几乎总是取最低支持精度下的数字，并且往往还叠加了结构化稀疏（2:4 sparsity，假定一半权重为零、硬件跳算）再翻一倍——这个数字在真实稠密模型上通常拿不到。

上图把选型拆成五个层层递进的维度，从芯片规格一直落到使用成本。这一篇就按这条链往下走。读任何一张规格表时，正确动作是：找到自己业务实际跑的精度（训练多为 BF16/FP8 混合精度，推理多为 FP8/INT8），只比较该精度下的**稠密（dense）**数字，稀疏数字仅作参考。

举个具体例子。当代训练旗舰的公开规格里，BF16 稠密算力约 990TFLOPS，而 datasheet 最醒目的位置写的是约 3958TFLOPS——前者到后者之间隔着 FP8（再翻倍）和结构化稀疏（再翻倍）两道放大。上一代旗舰 A100 的 BF16 稠密数字约 312TFLOPS。如果你拿 3958 去除 312，得出"新卡强十多倍"的结论，再用这个倍数去估算训练周期，预算和排期会错得离谱；按双方各自的 BF16 稠密口径比，差距约三倍多，才是接近实际的量级。

另一个真实的坑：出口管制等因素催生的"降算力特供版"，往往 HBM 容量、带宽、互联都保留，唯独把 FP16/FP8 算力砍到旗舰的几分之一。用 TOPS 直接横比，会严重误判它的推理能力——推理大模型恰恰常常先被显存带宽卡住，而不是先被算力卡住（后面详述）。还有 INT8 与 FP8 名义 TOPS 接近却不能混为一谈：INT8 只有整数量化、需要校准流程，FP8 保留浮点动态范围、训练和推理都能用，二者的软件路径和模型精度损失完全不同。

二、显存：HBM 容量与带宽决定能跑什么

第二个维度是显存，它在很多场景比算力更硬。容量问题最直观：模型参数、KV Cache（推理时为每个对话缓存的注意力键值）、激活值都要占显存。一个 700 亿参数模型，FP16 权重就约 140GB，单卡 80GB 装不下，必须多卡切分；长上下文推理时 KV Cache 还会随并发和序列长度线性膨胀，80GB 显存可能被权重占掉大半后，留给并发的空间所剩无几。这就是推理侧旗舰卡一路堆到 141GB、192GB HBM 的原因。

显存指标	量级范围（当代数据中心卡）	主要约束的场景
HBM 容量	80GB / 96GB / 141GB / 192GB	模型规模、最大上下文、推理并发数
HBM 带宽	2TB/s（HBM2e）→ 3.3-4TB/s（HBM3）→ 4.8-5.3TB/s（HBM3e）	推理 token 生成速度、带宽受限算子
显存技术代际	HBM2e → HBM3 → HBM3e	能效与可堆叠容量

除了权重和 KV Cache，第三类显存开销是激活值：训练时为了反向传播，要保留每一层的中间结果，显存占用随批次大小和层数线性增长，长序列训练时激活甚至超过权重本身，需要用重计算（丢弃部分激活、反向时重算）或张量并行切分来缓解。MoE（混合专家）架构还会带来特殊问题：单卡要装下所有专家权重，容量门槛进一步抬高，而单次计算只激活少数专家、对互联派发更敏感。

带宽为什么决定推理速度？自回归推理每个 token 都要把全部权重从显存读一遍，而每读一个参数只做一次乘加，算术强度（每字节搬运对应的运算次数）极低。在 Roofline 模型里，这类工作负载牢牢压在"带宽屋顶"下：把算力翻倍、带宽不变，生成速度几乎不动；把带宽翻倍，速度近似翻倍。这解释了为什么某些算力只有旗舰几分之一、但保留 4TB/s 级 HBM 带宽的卡，推理性能并不按算力比例缩水。训练的瓶颈分布则不同：大矩阵乘法算术强度高，多为算力受限，显存墙：HBM 带宽瓶颈里有完整的定量推导。HBM 技术本身可参考 GPU 显存：HBM 与 GDDR。

三、互联：机内直连与跨机网络

第三个维度是互联，它决定一张卡能否被"粘"进一个更大的加速器。训练旗舰普遍带专有高速互联：单卡双向带宽约 600-900GB/s（最新代达到 1.8TB/s 量级），机内通过交换芯片实现 8 卡乃至整柜 72 卡全互联；推理优化卡则常常砍掉专有互联，只留 PCIe，因为单卡推理和轻量张量切分对卡间带宽需求低，省下的芯片面积和系统成本可观。

跨机扩展则走另一层网络：InfiniBand 或 RoCE/以太网，当前主流速率 400Gb/s（约 50GB/s）量级，比机内专有互联低一个数量级。这就决定了集群组网原则——高频紧耦合通信（张量并行）必须锁在机内/柜内全互联域，低频粗粒度同步（数据并行梯度归约、流水线边界）才跨机。三类互联的分工在 NVLink 多 GPU 互联：为什么大模型训练不能只靠 PCIe 里有详细论述，这里只给选型结论。

互联层级	带宽量级	适用负载	选型含义
专有高速互联（NVLink/自研 fabric）	双向 600GB/s-1.8TB/s	训练、大模型张量并行	训练平台的必要条件，推理性价比卡常省略
PCIe 5.0 x16	单向约 63GB/s	卡↔主机、轻量卡间交换	通用兜底，不承担高频梯度同步
InfiniBand / 高速以太	约 50GB/s（400Gb/s）	跨机集群	按集群规模铺设，成本随端口近似线性增长

非 NVIDIA 阵营的 AI 加速卡对比还要额外考察一点：自研互联的软件成熟度。硬件带宽标称再高，若集合通信库的拓扑感知、算子融合不到位，有效带宽可能只剩标称的一半。

四、功耗与 TCO：从单卡 TDP 到机架供电

第四个维度把视角从芯片拉到机房。当代数据中心卡的整卡功耗（TDP，散热设计功耗）跨度很大：通用轻量卡约 72-150W，推理优化卡约 300-350W，训练旗舰约 400-700W，新一代双芯超级卡的单卡封装热设计功耗已逼近千瓦。做 AI 加速卡对比时，TDP 不是附属参数，它直接决定一台 8 卡服务器的供电和散热形态。

算一笔账：8 张 700W 旗舰仅 GPU 就是 5.6kW，加上双路 CPU、内存、风扇、网卡和电源转换损耗，单机柜节点实际耗电约 10-12kW；新一代整柜方案（72 颗旗舰）公开宣称的机柜功率达到约 120kW 量级，传统风冷机房单机柜 8-15kW 的供电能力根本接不住，必须上液冷和专门的供配电改造。所以选型不只是"买卡"，还包括：机柜是否有足够电力密度、是否需要液冷、机房 PUE（电能使用效率）下的电费、以及电源冗余。

电费可以简单量化：一张 700W 的卡即便按 0.6 的平均功耗系数运行，一年耗电也约 3700 度，一个万卡集群仅 GPU 一年就是三千多万度电的量级，再叠加 PUE（主流机房约 1.2-1.5，即每 1 度 IT 用电还要额外消耗 0.2-0.5 度制冷和供配电）。电价、PUE、供电改造这三项在不同机房差异极大，同一个采购方案在两地的三年 TCO 可以相差两位数百分比，必须按自己机房的实际数字测算。

TCO（总拥有成本）里最容易被低估的变量是利用率。一张卡的有效成本约等于（采购成本 + 三年电费与机房成本）除以它实际跑出的有效算力。集群平均利用率从 30% 提到 60%，单位算力成本接近减半；反过来，为峰值业务买了一堆训练旗舰却长期跑零碎推理任务，是数据中心里最常见的浪费。这也是推理优化卡存在的理由：300W 级卡的每瓦推理吞吐、整机可插卡密度往往高于 700W 旗舰。

五、软件栈：纸面算力之外的隐性维度

第五个维度看不见摸不着，却经常是实际选型的决定因素：软件栈成熟度。同一份模型代码在不同平台上的兑现率差距，可以大到让规格表失去意义。

软件栈要分几层看。底层是驱动和集合通信库（多卡通信效率的基础）；中间是算子库与编译器——成熟平台对常见注意力、归一化、卷积算子有高度优化的手写内核，并能用图编译器自动做算子融合、精度选择；上层是框架生态，主流大模型框架和开源模型是否开箱支持、社区遇到问题能否搜到答案。新进入者的硬件规格常常第一流，但开发者要自己补算子、调编译参数，迁移一个模型以月计，这段时间的人力成本和延误风险都要算进 TCO。

一个可操作的判据：不要用厂商演示的少数标准模型下结论，而要拿自己业务的真实模型跑端到端移植，记录三件事——移植所需人天、标准训练/推理脚本能否直接运行、长时间运行的稳定性与故障恢复能力。软件栈的差距最终全部体现在下一节的数字里。

六、MFU：从峰值算力到实测吞吐的层层折损

这一节是全篇的核心。为什么不能只看峰值？因为从 datasheet 数字到业务实际吞吐，中间隔着一连串折损环节，业界用 MFU（Model FLOPs Utilization，模型算力利用率，实际有效算力与峰值的比值）来刻画最终兑现率。

这张折损图分三段。第一段是口径折损：标称峰值取最低精度且常含 2:4 稀疏，真实稠密 BF16/FP8 训练能拿到的峰值先打一个折扣。第二段是内核折损：模型里不全是大矩阵乘法，归一化、激活、注意力掩码、形状变换等算子算术强度低；内核启动有间隙，小批次下 GPU 算不满，再加上编译器未能融合的碎片算子。第三段是系统折损：多卡梯度同步时的空等、跨机通信、HBM 带宽不足导致的停顿，以及高温触发的降频。

合起来，工业界大规模训练的 MFU 大多在 30%-55% 区间：模型越大、批次越饱满、并行切分越合理，越接近上限；小模型、小批次、拓扑不合理的集群可能只有 10%-20%。推理任务一般不直接谈 MFU，更常用单卡每秒生成 token 数、每瓦 token 数衡量，折损逻辑相同。注意推理还要分两个阶段记账：首 token 延迟（prefill，处理输入提示，算术强度高、偏算力受限）和后续 token 生成（decode，带宽受限）。一张算力强但显存带宽一般的卡，首 token 快、持续生成却未必快；基准测试只报"总吞吐"会把这个差异掩盖掉，必须分阶段测量。连续批处理（continuous batching，让不同请求的不同阶段拼批执行）是推理侧提升兑现率的主要软件手段，它的实现质量也是软件栈评估的一部分。

因此 AI 加速卡对比的正确姿势是：同一份模型、同一精度、同一批次与并发下，比实测吞吐，再除以功耗和价格看每瓦、每元算力；峰值 TOPS 只用于判断理论天花板，绝不用于采购决策。

七、三类卡定位对比与选型流程

把前面的维度汇总，数据中心卡大致分三类定位。下表数字均为公开规格的量级概括，具体代际以厂商最新规格表为准。

维度	训练旗舰	推理优化卡	通用/轻量 GPU
精度算力	BF16 数百至近千 TFLOPS，FP8 约两千 TFLOPS 量级	FP8/INT8 数百 TFLOPS 量级，BF16 明显削减	FP16/FP8 百 TFLOPS 量级
HBM/显存	HBM3/3e，80-192GB，3.3-5.3TB/s	48-96GB，GDDR/HBM，带宽约 0.9-4TB/s	24GB GDDR 级，约 0.3TB/s
互联	专有 fabric 600GB/s-1.8TB/s，全互联	多为 PCIe，少数保留高速互联	仅 PCIe
整卡 TDP	400-700W（双芯封装近千瓦）	约 300-350W	约 72-150W
软件栈	最成熟，框架开箱支持	推理生态完善，训练支持弱	通用生态好，AI 优化少
典型场景	千亿模型预训练、大规模微调	大模型在线推理、高并发服务	轻量推理、图形与计算混合、边缘上移

选型流程可以归纳为四步：第一步，刻画负载——是训练还是推理、模型多大、上下文多长、目标并发多少；第二步，按瓶颈定硬门槛——训练先锁精度算力与机内互联，推理先锁 HBM 容量与带宽；第三步，做机房约束校验——单机柜电力密度、散热、可插卡密度是否满足；第四步，也是最关键的一步，拿真实模型做基准测试，比实测吞吐、MFU、每瓦与每元成本，再评估移植人天和软件生态。走完这四步，规格表上的 TOPS 战争就再也干扰不了判断。

这一篇在知识体系里的位置

这一篇是芯片选型尺度的总览。向下，芯片内部算力如何组织，看 GPU 架构：SIMT 与 warp 调度；为什么有些负载先撞带宽墙，看 Roofline 模型：算力与带宽的屋顶线与显存墙：HBM 带宽瓶颈；精度格式与混合精度训练，看 混合精度：FP16、BF16 与 FP8。向旁边，多卡互联的完整机制看 NVLink 多 GPU 互联，显存层次与数据复用看 GPU 显存层次与带宽。后续做集群规划时，这些维度会进一步落到并行切分策略与供电散热设计上。

总结

AI 加速卡对比不能比 TOPS：先对齐 FP16/BF16/FP8/INT8 的精度口径和稠密/稀疏标称，再看 HBM 容量与带宽（推理常被带宽先卡住）、专有互联与跨机网络、300-700W 乃至近千瓦 TDP 背后的机架供电与 TCO、以及软件栈的真实迁移成本；最终只认同模型同精度下的实测吞吐和 MFU——标称峰值经过口径、内核、系统三段折损后，大模型训练能兑现 30%-55% 已属优秀，这才是选型决策唯一该站的地面。