极客工场

Appearance

共 4,991 字预计阅读约 17 分钟

边缘 AI 芯片：瓦级功耗与 LPDDR 带宽下的推理架构 ​

更新时间：2026-09-25。入门篇 AI 芯片的能效指标：TOPS 与 TOPS/W 讲清了算力和能效怎么算，本篇把这两个数字放进真实的边缘约束里。整数 MAC 的面积账见 MAC 单元的精度设计，模型为什么必须压到 INT8/INT4 见 INT8/INT4 量化与校准，片上存算复用的基本套路见 数据复用与 Weight-Stationary。

本文要回答的问题 ​

  • 边缘端（手机、智能摄像头、车载、物联网）和数据中心在推理约束上到底差在哪？
  • 瓦级甚至毫瓦级的功耗预算，换算成 TOPS/W 是什么概念？待机功耗为什么单独是一门工程？
  • LPDDR4/5 只有几 GB/s 到几十 GB/s 带宽，跑大模型权重会不会被「饿死」？
  • 为什么边缘推理几乎总是 batch=1？毫秒级延迟约束如何反过来决定阵列规模？
  • 小 MAC 阵列 + 大 SRAM、权重解压、算子裁剪，这些选择各自解决哪条约束？
  • INT8 相对 FP16 在边缘到底换来多少带宽、面积和能效收益？

一、同一道矩阵乘，两种活法 ​

很多人第一次设计边缘 AI 芯片时会下意识复刻数据中心加速器：大 MAC 阵列、高带宽外部存储、靠大 batch 把阵列喂饱。这套思路在端侧几乎条条踩雷。数据中心卡的优化目标是吞吐——整机 300~700 W、HBM 带宽以 TB/s 计、请求攒成 batch 32 甚至 256 一起算，单请求延迟 30 ms 还是 80 ms 用户基本无感。边缘端反过来：设备靠电池或小电源供电，DRAM 是 LPDDR，一次只来一个样本（按一次快门、过一辆车、唤醒一次），而用户对「按下到出结果」的等待以毫秒感知。

下图把两侧的约束画成卡片对照：边缘侧每一项资源都比云侧小两到三个数量级，但精度和实时性要求并没有同比放宽。

chip-design/intermediate/edge-ai-accelerator.md D2 示意图

这张图要读出的重点是：边缘不是「慢一点的云」，而是约束的优先级整个倒序——云侧先保吞吐和模型规模，能效是成本项；边缘先保功耗和延迟，算力是在剩下的预算里抠出来的。下表按六个工程维度给出典型量级。

维度边缘端（手机/摄像头/车载/物联网）数据中心加速器
整芯片/卡功耗物联网 0.1~2 W；手机 NPU 分配 1~5 W；车载域控 10~30 W300~700 W（整机板卡）
外部内存带宽LPDDR4 约 25~34 GB/s；LPDDR5/5X 约 51~85 GB/s，且与 CPU/GPU/ISP 共享HBM3 约 2~4 TB/s，加速器近乎独占
主流数值精度INT8 为主，INT4 权重快速普及；少量 FP16FP16/BF16 为主，FP8 训练推理两用
单请求时延手机/摄像头 5~30 ms；车载感知硬实时 10~30 ms数十至上百 ms，靠排队与 batch 摊薄
batch基本恒为 132~256，动态凑批
典型芯片类型手机 SoC 内嵌 NPU、视觉 IoT SoC、车载 ADAS 芯片、微控制器配 NPU独立 GPGPU/训练卡、定制推理卡

二、功耗预算：从瓦级到毫瓦级的三档世界 ​

边缘设备的功耗预算要分档看，因为它们决定了完全不同的架构。手机档整机 SoC 持续预算约 3~8 W（游戏等重负载短时更高），分给 NPU 的往往只有 1~5 W，却要给出 10~50 TOPS 的 INT8 算力，折合能效约 5~30 TOPS/W；当代旗舰手机 NPU 公布的峰值 INT8 算力在 30~70 TOPS 区间，能效数字普遍标到每瓦十几到几十 TOPS。视觉物联网档（智能摄像头、门铃、工业相机）整机预算常被电源和散热卡死在 0.5~2 W，AI 子系统只有几百毫瓦，算力 1~8 TOPS，芯片单价还要压到几美元到二十美元——这里能效比峰值算力更决定生死。车载档看似宽裕（域控制器 15~30 W 级、算力数十到上百 TOPS），但要叠加功能安全（ISO 26262，ASIL 分级）和 −40~125 ℃ 结温可靠性，实际可用的有效算力打折。

能效账入门篇 AI 芯片的能效指标：TOPS 与 TOPS/W 已经算过：一次 INT8 乘加在先进工艺上的理论能效远高于实际整芯数字，差距主要花在搬数据上。边缘芯片的设计重心因此不在「MAC 做多大」，而在「让数据少动」。

散热方式也在切割架构：手机和摄像头大多无风扇，持续功耗一旦超过封装对环境的散热能力，芯片只能靠降频自保，因此端侧规格表里的峰值 TOPS 通常只能维持几秒到几十秒，真正决定体验的是「持续 TOPS」。有经验的团队会按持续预算倒推阵列规模，宁可峰值数字难看，也不允许推理中途降帧。

还有一个云侧几乎不存在、端侧却极其刺眼的指标：待机与常驻功耗。语音唤醒、人脸靠近亮屏、摄像头人形侦测这类功能要求设备 7×24 在线，但电池容量只允许常驻功耗压在毫瓦级——典型 always-on 子系统预算 1~10 mW，主 NPU 此时必须断电，只留一颗极小的专用核（往往搭配 SRAM 保留和电源隔离，做法见 低功耗模式与 retention/isolation）。工程上的常见分层是：毫瓦级「哨兵核」做关键词或运动初判，命中后才唤醒百毫瓦级视觉核，主 NPU 只在完整推理时上电。唤醒误触发率和两次唤醒之间的平均功耗，是和 TOPS 同等重要的验收指标——误唤醒每高一个百分点，整颗主 NPU 每天就被白白多拉起来几百次。

三、带宽账：LPDDR 喂不起大阵列 ​

边缘 AI 芯片的第二道天花板是外部内存带宽。LPDDR4 双通道理论峰值约 25~34 GB/s，LPDDR5 约 51 GB/s，LPDDR5X 可到 77~85 GB/s——注意这是整颗 SoC 共享的数字，CPU、GPU、ISP、显示同时在抢，NPU 实际稳定拿到的带宽通常只有峰值的一个可观打折后的份额。作为对照，数据中心 HBM3 单卡带宽 2~4 TB/s，是 LPDDR5X 的 30~60 倍，且基本由加速器独占。

用权重流式的朴素算法算笔账：一个 7B 参数模型，INT8 权重约 7 GB，就算独占 50 GB/s 的 LPDDR5，光读完权重就要约 140 ms，生成每个 token 都要重读则完全不可行；即便是 ResNet-50，FP32 权重约 25 MB，在 20 GB/s 有效带宽下单是权重就要读 1.25 ms，已经吃掉视觉任务 30 ms 预算的二十分之一，而权重只读一遍还是最省的情况。结论很硬：边缘阵列的规模不由峰值算力定，而由「外部带宽能稳定喂多少 MAC」定。盲目堆 100 TOPS 的阵列，batch=1 下利用率可能只有 10%，多余的 MAC 只漏电不出活。

主流应对有三层。第一层是把权重尽量塞进片上 SRAM：边缘 NPU 的 SRAM 通常配 1~8 MB，按层调度——MobileNet 类模型 INT8 后单层权重多在几十到几百 KB，可以整层驻留；ResNet-50 INT8 后约 6 MB，配合分块（tiling）也能让权重在 SRAM 里被反复复用，分块与复用套路见 矩阵乘的 Tiling 策略 和 数据复用与 Weight-Stationary。第二层是降低权重的搬运位宽：外部存 INT4，取到阵列旁再解压成 INT8 参与计算，带宽直接减半。第三层是压缩激活与中间张量，让层与层之间不落 DRAM。

值得强调的是 LPDDR 的能效也跟着带宽走：移动 DRAM 每搬运一字节数据大约要花 10~30 pJ，而片上 SRAM 读一字节在先进工艺下可低至 1 pJ 量级，两者相差一个数量级以上。这意味着「少出一次芯片」同时省了时间和电，SRAM 扩容在边缘芯片上几乎永远是划算的买卖——直到 SRAM 面积和静态漏电反超收益为止，这个拐点通常出现在几 MB 到十几 MB 之间，也是各家用 SRAM 容量做产品分层的原因。

四、batch=1 与毫秒级延迟：阵列为什么必须「小而快」 ​

云侧加速器的高利用率很大程度上是 batch 送的：batch 从 1 涨到 64，同样的权重读一次服务 64 个样本，算术强度翻几十倍，大阵列自然吃得饱。边缘场景没有这个选项——快门一次只有一张图，过一辆车只有一帧，语音唤醒只有一段音频；少数多路摄像头汇聚芯片能凑 batch 4~16，但那是特例。batch=1 意味着算术强度被钉死在低位，也意味着延迟就是单样本的真实执行时间，不能靠吞吐换算。

毫秒级预算还会被前后处理瓜分。以摄像头视觉链路为例：传感器经 MIPI CSI-2 送入（接口细节见 MIPI CSI-2 摄像头接口），ISP 出图、预处理缩放归一化、NPU 推理、后处理（NMS 非极大值抑制、画框、编码上传），30 ms 端到端预算里推理往往只分到 10~20 ms。这逼迫架构做两个取舍：一是阵列规模适中但时钟和流水要干净，几百到几千个 INT8 MAC、主频数百 MHz 到 1 GHz 多是常态，避免千级阵列在单层尾部空转；二是片上网络和 SRAM 带宽按「单层启动零气泡」设计，层与层之间不允许为搬数据停摆。片上互连本身也成为关键模块，可参考 NoC 片上网络路由器。

车载场景再加一条硬实时：自动刹车类应用要求感知到决策的总时延有确定性上界，片上任何「凑批」「驱动介入」造成的抖动都不允许，调度和流水必须可静态分析。

batch=1 还带来一个容易被忽视的效率陷阱：卷积层首尾两侧的通道数很少（如第一层 3 个输入通道），矩阵乘在这些层天然填不满阵列；网络越深通道越宽，阵列利用率才上来。云侧靠大 batch 抹平这种波动，边缘只能靠架构迁就——例如阵列按「宽层」设计、窄层用脉动收缩或多像素合并喂入，并在编译器调度里把预处理、DMA 搬运与计算重叠起来。端侧编译器做的层融合（conv+BN+ReLU 合一）本质上也是在抢这几十毫秒：少为中间结果分配一次缓冲区、少过一次存储，整条链路才能稳定落在帧周期以内。

五、模型侧的减法：INT8/INT4、剪枝与算子裁剪 ​

芯片约束最终会倒逼模型改造。量化是第一道：INT8/INT4 量化与校准 讲透了 scale、零点和校准，这里只算边缘部署的收益账。下表是同一模型、同一阵列下 FP16 与 INT8/INT4 的典型工程数字（区间为公开芯片与框架基准的数量级）。

指标FP16（相对基准）INT8INT4 权重 + INT8 激活
权重体积2x（对 FP32）再减半，为 FP16 的 1/2为 FP16 的 1/4
外部带宽占用基准 100%约 50%权重侧约 25%~30%
单位面积 MAC 算力1x约 2~4x等效再升，需解压单元配合
典型能效1x约 2~3 TOPS/W 倍数约 3~5x（含解压开销后）
精度损失（校准良好）0约 0.1~0.5 个百分点权重-only 约 0~1.5 个百分点

第二道是结构化稀疏与剪枝：把整块通道或固定比例（如 2:4）权重置零，MAC 遇到零直接跳过，配合压缩存储可同时省算力和带宽，详见 结构化稀疏与剪枝。第三道是算子层面的裁剪与替换，这是边缘工具链最繁琐也最出活的环节：把训练专用算子（部分训练态归一化、复杂激活）从推理图中删掉；LayerNorm/BatchNorm 在推理期折叠进卷积权重；GELU、sigmoid、softmax 改用分段线性或查找表（LUT）近似，省掉除法和超越函数单元；网络结构搜索阶段就剔除硬件不友好的算子（如细碎 reshape、动态形状）。端侧部署框架普遍要求整张图落到一个有限的算子白名单内，白名单外的算子要么回退 CPU——一次回退可能把 NPU 省下的延迟全部赔进去——要么改模型。

六、典型架构：小阵列、大 SRAM、在数据旁边做解压 ​

把前五节的约束合起来，当代边缘 AI 芯片的主流形态就清晰了。下图画出一次推理的完整数据流，读图时留意每个环节对应消掉的是哪条约束。

chip-design/intermediate/edge-ai-accelerator.md D2 示意图

数据流的每一跳都在为前面的约束服务：压缩模型让 DRAM 读取量最小化；SRAM 分块驻留让权重和激活被复用而不是反复过片外总线，这是 TOPS/W 的主要来源；解压单元紧贴 MAC，使外部以 INT4 流动、阵列内部仍按 INT8 累加，带宽和电路利用率两头占；MAC 阵列刻意保持小规模并按单层流水组织，保证 batch=1 下也有高利用率；后处理用查找表和专用小硬件完成，避免回退 CPU。控制面通常由一颗微控制器或 DSP 承担，负责层调度、DMA 编排和算子白名单管理。不同产品的差异只是配比：物联网芯片把 SRAM 和阵列再砍一个量级、加毫瓦级哨兵域；手机 NPU 放大阵列并与 GPU/CPU 共享内存；车载芯片在这套数据通路上叠加锁步核、ECC 和冗余设计。

选型时容易犯的错是只比峰值 TOPS：两颗标称 4 TOPS 的芯片，如果一颗 INT8 模型能整层驻留 SRAM、另一颗每层出几次 DRAM，实际帧率和整机功耗可以相差数倍。看边缘 AI 芯片，应该同时问四个数字：INT8/INT4 各多少 TOPS、片上 SRAM 多大、有效 LPDDR 带宽和时延保证、常驻待机功耗多少毫瓦。

还有一条产品化经验值得记下：边缘芯片的软件栈权重往往被低估。同一份 ONNX 模型，在不同厂家工具链上编译出的实测帧率可以差两三倍，差距来自算子覆盖率、层融合的激进程度和 SRAM 调度算法。评估阶段必须拿自己的真实模型（而不是厂商标杆模型）做端到端实测，逐项统计每层耗时和出片次数；一旦发现某层被切成大量小块反复进出 DRAM，往往不是模型的问题，而是编译器 tile 尺寸没调好。能让用户自定义算子白名单、能把关键后处理手工映射到专用硬件的工具链，在量产项目里比纸面多 1 TOPS 更值钱。从架构演进看，边缘 NPU 还在向两个方向延伸：一端是与传感器融合的「智能传感」，在数据出传感器之前就完成特征提取，连 ISP 和 NPU 的界限都被打通；另一端是为端侧小语言模型加专门的权重流式通道和 KV cache 压缩，让几十亿参数的模型也能在 LPDDR 预算内逐 token 生成。无论哪端，核心矛盾没变：在极小的瓦和极小的 GB/s 里，把每一次乘法和每一次搬运都花在刀刃上。

这一篇在知识体系里的位置 ​

总结 ​

边缘 AI 芯片不是「慢一点的数据中心卡」，而是约束优先级整个倒序：物联网 0.1~2 W、手机 NPU 1~5 W、车载域控 10~30 W，LPDDR4/5 有效带宽只有 25~85 GB/s 且全 SoC 共享（HBM 的几十分之一），batch 恒为 1、端到端预算多在 5~50 ms，模型因此必须 INT8 起步、INT4 权重快速普及。架构上的四个标准动作是：片上配 1~8 MB SRAM 按层驻留权重与激活、把数据复用做到极致（这是 5~30 TOPS/W 能效的主要来源）；INT4 权重流过 LPDDR、到阵列旁解压成 INT8，带宽减半而计算不降级；MAC 阵列保持数百到数千单元的小规模、按单层流水组织，保证 batch=1 下也不空转；模型侧叠量化、结构化稀疏和算子裁剪（归一化折叠、LUT 近似、白名单化），后处理绝不回退 CPU。另有云侧不存在的指标——1~10 mW 的 always-on 哨兵域负责 7×24 唤醒初判。选片别只看峰值 TOPS，要连 SRAM 容量、有效带宽、单帧实测时延和待机毫瓦数四个数字一起比。