AI 加速器入门：NPU/GPU 为什么比 CPU 快，MAC 阵列是什么
更新时间：2026-09-05。本文是「集成电路大类 · 芯片设计」**入门层（beginner）**第四十三篇新正文。手机能识别人脸、数据中心能跑大模型，背后都有一类专门的芯片——AI 加速器（NPU/GPU/TPU）。它们也是用数字逻辑、RTL 设计、挂在总线上的 IP，但架构思路和 CPU 完全不同。这一篇讲清它为什么快、核心的 MAC 阵列是什么。
本文要回答的问题
- 跑 AI 为什么不用通用 CPU，而要专门的 NPU/GPU？
- 神经网络里到底在算什么？MAC、TOPS 是什么？
- MAC 阵列（脉动阵列）为什么能又快又省电？
- 「内存墙」是什么，为什么 AI 芯片拼命堆带宽（HBM）？
一、神经网络 = 海量「乘加」，而且高度并行
一个神经网络层做的事，本质是：输出 = 激活函数( 权重 × 输入 + 偏置 )，其中 99% 的运算就是乘加（Multiply-Accumulate, MAC）——把两个数相乘、再加到累加器里。一次推理要做几十亿~几万亿次乘加。
这些计算有三个特点：数量巨大、彼此独立可并行、流程规则几乎没有分支。这和 CPU 擅长的「逻辑复杂、要分支预测、追求单任务低延迟」完全是两类负载。
| CPU | GPU / NPU | |
|---|---|---|
| 设计目标 | 通用、低延迟、强控制流 | 吞吐、海量并行计算 |
| 核心数量 | 几个~几十个强核 | 成千上万个简单计算单元 |
| 擅长 | 操作系统、分支、串行逻辑 | 矩阵乘、卷积、向量运算 |
| 分支预测/乱序 | 很重 | 基本不需要 |
结论：CPU 是几个全能博士，GPU/NPU 是几千个只会做乘法加法但同时开工的工人——做神经网络这种「简单重复、量极大」的活，后者快几十倍还省电。算力单位 TOPS（Tera Operations Per Second，每秒万亿次运算）就是在数这些乘加。
二、MAC 阵列：让数据「流过」一排乘法器
NPU 的核心是一大片 MAC 阵列（脉动阵列 systolic array）：成百上千个乘加单元排成网格，权重和输入数据在阵列里像脉搏一样流动复用——一个数据从旁边经过，就被多个单元重复使用，算出矩阵乘法的一部分结果。
好处：数据在阵列内部被反复利用，不用每个数都回内存取，极大降低了访存次数和功耗——这正是它比「算一下、存一下」的通用核高效的关键。
三、内存墙：搬数据比算还贵
AI 芯片真正的瓶颈往往不是算力，而是喂数据：把权重和激活从内存搬到计算单元，耗电和耗时常常超过乘法本身，这叫内存墙（memory wall）。对策包括：
- 大带宽内存：用 HBM（高带宽堆叠内存）、多通道，把带宽拉满；
- 数据复用：MAC 阵列、片上 SRAM（见 片上存储器）尽量让数据在芯片内部多转几圈；
- 降低精度：用 INT8/FP16 甚至更低比特（量化）代替 FP32，数据量减半、乘加器更小更省电，精度损失却很小；还有剪枝、压缩。
这也解释了为什么 AI 芯片面积大、良率挑战高、爱用 Chiplet。
四、它仍然是「普通」的数字芯片
别被「AI」神秘化：NPU 就是一块数字逻辑——MAC 单元是加法器/乘法器（组合逻辑），控制是状态机，跑 时钟、走 AMBA 总线、用 DMA 搬数据、受 寄存器配置、低功耗和 时序收敛一样不少。它可以是自研模块，也可以作为 IP 核集成进 SoC（见 IP 核）；RISC-V 的向量扩展 V 也在往这个方向靠（见 RISC-V 入门）。
五、这一篇在知识体系里的位置
- 想看 MAC 用的加法器/乘法器属于什么逻辑 → 组合与时序逻辑、从代码到门电路；
- 想看喂数据的 HBM/Chiplet 与大 die 良率 → 封装入门、良率是什么；
- 想看加速器怎么挂总线、搬数据 → 片上总线、中断与 DMA；
- 想区分通用核与专用加速器 → RISC-V 与处理器核。
总结
一句话总结：AI 加速器（NPU/GPU/TPU）之所以比 CPU 快，是因为神经网络推理/训练的绝大部分运算都是海量、彼此独立、规则无分支的「乘加 MAC」（输出=激活函数(权重×输入+偏置)），而 CPU 只为通用控制和低延迟优化（少数强核、复杂分支预测和乱序），GPU/NPU 则用成千上万个简单计算单元并行处理，像「几千个只会乘加却同时开工的工人」对上「几个全能博士」，做矩阵乘卷积这类活快几十倍还省电，算力以 TOPS（每秒万亿次运算）衡量；其核心是 MAC 脉动阵列——成百上千乘加单元排成网格让权重和数据在阵列内流动复用、避免每个数都回内存取，从而大幅降低访存与功耗；真正瓶颈往往是「内存墙」即搬数据比计算更贵，对策是堆 HBM 高带宽内存、片上 SRAM 数据复用、以及 INT8/低比特量化剪枝压缩，这也使 AI 芯片面积大、良率难、常用 Chiplet；但要破除神秘感——NPU 本质仍是数字逻辑（乘法器加法器+状态机），照样跑时钟、走 AMBA 总线、用 DMA 搬数、受寄存器配置、做时序和低功耗，可作为一个 IP 核集成进 SoC。