BitNet 1-bit 推理:1.58-bit 权重模型的查表法内核与 CPU/GPU 加速比
更新时间:2026-10-04。在 量化推理 系列里,前面聊过 INT8/INT4 的 PTQ 与 QAT 套路,也拆过 GPTQ/AWQ 权重量化 怎么把权重压到 4 bit。但量化的尽头是一个更激进的问题:权重能不能只取三个值? BitNet b1.58 给出的答案是能——权重只取 {-1, 0, +1},平均每个权重约 1.58 bit(log2(3))。这一下把大模型推理里最大的开销——矩阵乘法的乘法器——整个消灭了。本篇聚焦 BitNet 1-bit 推理的 kernel 层实现:三值权重怎么打包、查表法(lookup table, LUT)kernel 为什么比 GEMM 快、CPU 和 GPU 上各能拿到多少加速。
本文要回答的问题
- 1.58-bit 三值权重到底是什么编码,为什么说是「1.58」而不是 1 或 2?
- 查表法 kernel 怎么把矩阵乘法变成整数加法,LUT 的表项怎么设计?
- CPU 上 bitnet.cpp 拿到 2~6 倍加速的机制是什么,瓶颈从算力变成了什么?
- GPU 上加速比为什么反而小,什么场景值得上 BitNet?
一、1.58-bit:三值权重的信息论账
BitNet b1.58 的线性层权重在训练时就被约束到三个取值:-1、0、+1。三个状态需要 log2(3) ≈ 1.58 bit 来表示,这就是「1.58-bit」的由来——它不是标准的 2 bit 量化(2 bit 能表示 4 个状态),而是把第四个状态浪费掉换简化。
关键后果是:权重乘以激活不再需要乘法。w × a 只有三种结果:a、0、-a。整个矩阵乘法退化为一堆带符号的整数加法(激活本身量化为 INT8),硬件上连乘法器都可以省掉。再配合每层一个浮点 scale 恢复动态范围,数值精度由激活侧的 per-token scale 兜住(这套思路和 per-token scale 量化 一脉相承)。
存储上,社区实现(bitnet.cpp / GGUF 的 TL1/TL2 格式)把 4 个三值权重打包进 1 字节(3^4 = 81 < 256),实际每权重 2 bit 物理占用、1.58 bit 信息密度。一个 7B 模型的权重从 FP16 的 14 GB 缩到约 1.7 GB,KV cache 推理显存 之外最大的那块内存压力直接去掉一个数量级。
二、查表法 kernel:把 GEMM 变成「加表」
权重没有乘法了,kernel 怎么组织?bitnet.cpp 的答案是查表法。思路是:既然权重只有 3 种取值,那么一小段权重向量和激活向量的点积,结果只取决于「哪些位置加、哪些位置减、哪些位置跳过」。把激活侧按小组(比如 4 个 INT8 一组)预先算出所有可能的加组合存进一张小表,权重侧编码直接当索引去查表累加,整个内积循环里没有任何乘法,只有查表和整数加。
上图是查表 kernel 的数据流。要点有两个。其一,LUT 的构建成本被摊薄:激活侧的一个 tile 会和权重矩阵的很多行做点积,表建一次、查几百上千次,建表开销占比可忽略。其二,整个热循环对 SIMD 极其友好:AVX2/NEON 下索引展开和累加都是规则整数操作,没有分支、没有除法,流水线跑得满满的。这也是为什么 BitNet 的 kernel 比 INT4 的 Marlin kernel 还要简单——Marlin 至少还要做 INT4 到 FP16 的解包和乘加。
激活侧仍然是 INT8 量化(W1.58A8),不是全 1-bit。这点常被误读:BitNet 砍的是权重,激活保持 8 bit 是为了保住精度,kernel 里的累加器用 INT32 防溢出。工程上这个选择也定了 LUT 的规模上限——4 个 INT8 一组时表项是 81 种组合,若激活压到 INT4,组合数虽少但精度掉得更快,社区主流实现都守在 W1.58A8 这个甜点上不再激进。
再补一个打包格式的细节。TL1/TL2 两种编码的差别在于「多少权重共享一个字节索引」:TL1 把 4 个三值权重编成一个 0~80 的索引(3^4 = 81 种组合恰好放进一字节),查表时一个字节直接对应 4 个权重位置的部分和;TL2 则用更紧凑的位域方案换取更规则的解码。工程上的取舍很典型:索引越宽,LUT 表项覆盖的权重越多、查表次数越少,但表本身越大、越容易出缓存。bitnet.cpp 实测下来 4 权重/字节是桌面 CPU L1 容量和查表次数之间的甜点,这和 memory banking 交织 里「位宽换并发」的思路异曲同工。
三、CPU 加速比:从算力瓶颈变成带宽瓶颈
CPU 是大模型推理里典型的「内存带宽受限」场景:decode 阶段每生成一个 token 都要把全部权重从内存读一遍,FP16 7B 就是 14 GB 的读取量,而桌面级内存带宽通常只有 50~100 GB/s,单 token 延迟被带宽卡死在几百毫秒级。
权重缩到 1/8 之后,局面完全反转:
| 维度 | FP16 基线 | BitNet 1.58-bit | 变化 |
|---|---|---|---|
| 7B 权重体积 | 约 14 GB | 约 1.7 GB | 缩到 1/8 |
| decode 每步权重读取 | 14 GB | 1.7 GB | 带宽压力同步缩 |
| 内层运算 | FP16 乘加 | 查表 + 整数加 | 乘法器空闲 |
| 官方实测加速(x86 CPU) | 1x | 2.4~6.2x | 依模型规模 |
| 能耗 | 基线 | 降 55%~70% | 乘法和访存双省 |
bitnet.cpp 官方报告的数据是:x86 CPU 上 1.37x 到 5.07x 加速(视模型大小),ARM 上 1.37x 到 5.4x,配合 llama.cpp CPU 线程绑定 里讲的绑核手段还能再挤一截。模型越大加速比越高,因为大模型更纯地被带宽支配,而权重读取正好是缩了 8 倍的那部分。加速比的来源里,带宽缩减的贡献大于运算简化的贡献——查表省乘法只是锦上添花,真正的主角是「每步少读 8 倍字节」。
还有个隐性红利:1.7 GB 的权重可以整个塞进大 L3 或者轻易驻留内存,100B 级模型压到 20 GB 上下后单路 CPU 服务器就能跑,官方给出的数字是单 CPU 跑 100B BitNet 模型可达 5~7 token/s——这是 llama.cpp GGUF 格式 生态里前所未有的「无 GPU 跑超大模型」路径。对个人开发者和边缘盒子来说,这意味着原本必须租云 GPU 的模型现在一台笔记本就能离线推理,隐私敏感场景(医疗记录、本地文档问答)是直接受益者。
还有两个工程细节决定实测数字落在区间的哪一端。一是线程数和指令集:bitnet.cpp 在 AVX2 上按 4 权重/字节展开查表,每轮迭代大约处理 32 个权重位置,线程数从 4 加到物理核数附近时 decode 速度近似线性,但超过物理核数开超线程后收益迅速变平——瓶颈又回到内存控制器。二是首 token 的 prefill 阶段收益远小于 decode:prefill 是矩阵乘矩阵,激活侧也要反复建 LUT,表构建成本摊不薄,实测 prefill 加速常常只有 1.3~1.8 倍。所以评估 BitNet 时别拿端到端首 token 延迟说事,要把 TTFT 和逐 token 延迟分开看,后者才是它真正发光的地方。
四、GPU 上为什么没那么香
GPU 的故事要冷静得多。GPU 推理在 batch 稍大时是算力受限而非带宽受限,Tensor Core 的 FP16/INT8 乘加吞吐极高,查表法 kernel 用不上这些单元,只能走 CUDA core 做整数运算——等于主动放弃 GPU 最贵的硬件。社区 GPU 版 LUT kernel(如 Ladder、BitBLAS 生成的 T-MAC 式实现)实测加速多在 1.5~3 倍,远低于 CPU 侧,而且 batch 一大优势继续缩水。
上图概括了两条硬件路径的分野。结论很直白:BitNet 1-bit 推理的主战场是 CPU、边缘设备和端侧,不是数据中心 GPU serving。GPU 上做高吞吐 serving,FP8 推理 或 INT4 GPTQ 路线(它们能用 Tensor Core)通常更划算。另外别忘了模型来源问题:BitNet 的三值权重需要从预训练阶段就约束(QAT 式原生训练),把现成 FP16 模型硬压成三值掉点明显——这和 INT8 PTQ/QAT 里「训练后量化 vs 量化感知训练」的老矛盾一模一样,只是更尖锐。
这一篇在知识体系里的位置
本篇是量化推理系列的「极限权重压缩」专题:上游是 量化 INT8 PTQ/QAT(量化基本法)和 GPTQ/AWQ 权重量化(4-bit 训练后压缩);同层对照 INT4 Marlin kernel(GPU 上权重解压式 kernel 的另一条路线)、per-token scale 量化(激活侧精度的保命手段)和 llama.cpp GGUF 格式(BitNet 权重的实际载体);下游延伸是 KV cache 推理显存——权重省下来的内存预算,通常转头就喂给了更长的上下文。
总结
BitNet 1-bit 推理把权重约束到 {-1,0,+1} 三值(约 1.58 bit/权重),矩阵乘法退化为查表加整数累加:激活按小组预计算部分和建 LUT,打包后的权重字节直接当索引查表,热循环里没有任何乘法——在带宽受限的 CPU decode 场景,权重读取量缩 8 倍带来 2~6 倍实测加速和过半能耗下降,让 100B 级模型单 CPU 可跑;但在算力受限的 GPU 大 batch 场景,查表 kernel 用不上 Tensor Core,加速缩水到 1.5~3 倍甚至不如 INT4/FP8,因此 BitNet 的主战场在 CPU 与端侧,且三值权重需原生 QAT 训练,不能指望训练后硬压。