GGUF K-quant 选型速查:Q2_K 到 Q6_K 的体积精度阶梯与 CPU 推理搭配
更新时间:2026-10-06。前面 llama.cpp GGUF 格式 讲过 GGUF 容器格式的结构,权重量化 per-group scale 讲过分组量化的基本原理。GGUF 生态里最常被问到的问题是:下载页面一排 Q2_K 到 Q6_K 再加 _S/_M/_L 后缀,到底选哪个?本篇给出直接可用的选型结论和背后的账。
本文要回答的问题
- K-quant 的「K」和老版量化(Q4_0 等)差在哪?
- Q2_K~Q6_K 各档的体积和精度代价是多少?
- 按内存预算和硬件怎么快速定档,_S/_M/_L 后缀怎么选?
一、K-quant 是什么:超块加混合精度
K-quant(K-quantization)是 llama.cpp 的第二代量化方案。相比第一代 Q4_0/Q5_0 的「固定 block 大小、单一位宽」,K-quant 引入两个改进:超块(superblock)结构——8 个 32 元素的小 block 组成一个 256 元素超块,超块级再存一份高阶 scale,两层 scale 分摊后每个数值的元数据开销更低;混合精度分配——对数值敏感的张量(如 attention 的 V、embedding)用更高位宽,其余用低位宽,同样的平均位宽下精度明显更好。后缀 _S/_M/_L 就是混合精度的三档配方:S(small)最激进、M(medium)均衡、L(large)保守。社区长期实测的结论是 _M 几乎总是最优性价比,_S 省的那点体积换来的精度损失不划算,_L 只在 Q3 这种低位宽档值得考虑。
为什么混合精度值得专门做,一句话点透:模型各层各张量对量化的敏感度差异极大,embedding 和 attention 输出投影的量化误差会被逐层放大,而中间 FFN 的大量权重则相当耐压。第一代量化对所有人一视同仁,等于按最敏感张量的标准给全体留余量;K-quant 把余量精准花在最敏感的那 10%~20% 参数上,其余放心压——这是「平均位宽」这个概念在 K-quant 里比「固定位宽」更有意义的原因,比较两个文件的体积时看的正是平均位宽。和 GPU 生态里 GPTQ/AWQ 用校准数据逐层最小化重建误差不同,K-quant 走的是「结构先验 + 免校准」路线,换来的是转换过程秒级完成、不挑语料——两种哲学服务两个生态,选型时不用混为一谈。
二、体积精度阶梯与选型决策
以 7B 模型为例的实测量级(13B/70B 按比例缩放):
| 档位 | 平均位宽 | 7B 体积 | 相对 Q8 困惑度升幅 | 定位 |
|---|---|---|---|---|
| Q2_K | 约 2.6 bit | 约 2.7 GB | 15% 以上 | 极限压缩,仅尝鲜 |
| Q3_K_M | 约 3.9 bit | 约 3.5 GB | 3%~5% | 内存吃紧的下限 |
| Q4_K_M | 约 4.8 bit | 约 4.1 GB | 1%~2% | 默认推荐 |
| Q5_K_M | 约 5.7 bit | 约 4.8 GB | 0.5%~1% | 质量敏感场景 |
| Q6_K | 约 6.6 bit | 约 5.5 GB | 小于 0.3% | 接近无损 |
| Q8_0 | 8 bit | 约 7.2 GB | 小于 0.1% | 体积不敏感时的上限 |
表里的体积都是纯权重,实际部署再加上 10%~20% 的运行时开销(context buffer、计算缓冲、KV cache),选型时按「标称体积乘 1.2」对内存条才稳妥。另外注意一个冷知识:Q6_K 没有 _S/_M/_L 之分,因为 6 bit 已经足够高,混合精度配方在这一档失去意义——这也是命名里它独树一帜的原因。
决策流程三句话。第一,算内存预算:模型体积加 KV cache 加系统占用,KV cache 显存账 里的公式在 CPU 内存上同样适用,长上下文场景 KV 部分能占到几个 GB,别只拿权重体积对内存条。GQA 模型的 KV 部分按 K/V 头数折算后其实不大,真正吃内存的是 32K 以上上下文配 MLA 之外的老架构。第二,预算内选最高档:能放下 Q6_K 就不选 Q5_K_M,位宽的精度收益在全档位上都是单调的,不存在「Q4 调得比 Q6 好」的传说。第三,只有 Q4_K_M 和 Q5_K_M 两档值得纠结——经验法则是日常聊天与代码辅助 Q4_K_M 足够,涉及精确引用、翻译、数学推理的上 Q5_K_M,两者的速度差在 CPU 上约 10%~15%,因为位宽越低解包越省内存带宽,Q4 反而更快。
把模型规模也纳入决策:越大参数量的模型对量化越耐受,70B 的 Q3_K_M 实测精度常常好于 7B 的 Q4_K_M——参数冗余度本身就是量化噪声的缓冲垫。所以选型表要按规模修正:7B 档建议不低于 Q4_K_M,13B 可以下探 Q3_K_L,70B 在内存紧张时 Q3_K_M 也能用,而 70B 的 Q4_K_M 质量已经非常接近满血。反过来,3B 以下的小模型量化余量很小,Q5_K_M 起步才稳妥。
困惑度数字的使用姿势也交代一句:表里的升幅是相对 Q8_0 基线在 wikitext 类通用语料上的典型值,不同模型的绝对值会有出入,但档位之间的相对次序高度稳定——拿它做档位间的相对比较没问题,拿它外推你业务的具体质量指标不行,业务验收还是要用自己的评测集跑一遍。
三、CPU 推理的搭配要点
CPU 推理的性能瓶颈是内存带宽而非算力,这让量化档位的速度和体积几乎成反比——Q4_K_M 在桌面 CPU 上通常比 Q8_0 快 50% 以上,量化在这里是「又小又快还只损失 1% 精度」的罕见三赢。两个搭配建议:其一,线程数设为物理核数而非逻辑核数,超线程对内存带宽型负载无收益;其二,预算允许时用 -ngl 把部分层卸载到 GPU(哪怕只是核显或入门独显),MoE 模型把专家层留 CPU、共享层上 GPU 是当下的高性价比玩法。Apple Silicon 的统一内存让「体积预算」直接等于内存条容量,70B 的 Q4_K_M(约 40 GB)配 64 GB 机型是甜点组合。
速度预期也给个数感:桌面级 8 核 CPU 跑 7B Q4_K_M,decode 速度大约 10~20 token/s,够聊天但不够批量;M 系列芯片凭统一内存高带宽能到 30~50 token/s;服务器级多路 CPU 跑 70B Q4_K_M 大约 5~10 token/s。prefill 则完全不同——它是算力密集而非带宽密集,CPU 上长 prompt 的 TTFT 动辄几秒到几十秒,这是端侧部署最痛的短板,缓解手段是开 prompt cache(llama.cpp 的 --prompt-cache)复用系统提示的 KV,思路与 prefix caching 同源,只是落地点在本地内存。
最后点名两个常见误区:不要用 Q2_K 做生产——2 bit 档的损失是非线性的,长文本生成会出现可感知的逻辑漂移,它存在的意义是研究下限;不要迷信「量化版之间可以混用」——GGUF 文件每个张量的量化类型在文件头里写明,llama.cpp 按文件加载,想换档必须重新下载或转换,运行时无缝切换不存在。
再补两个工程细节。其一,自己转 GGUF 时用官方转换脚本加 --outtype q4_k_m 这类参数即可,但源模型建议用 FP16/BF16 原版而不是别人已量化过的版本二次量化——二次量化的误差是叠加的,精度掉得比直接量化深一档。其二,下载社区转换好的 GGUF 时认准发布者的校准语料说明,部分发布者会在量化时混入 imatrix(重要性矩阵)校准数据,同档位下 imatrix 版精度明显更好,文件命名里通常带 imat 字样,同体积优先选它。
把验收动作也标准化:换档位或换发布者后,用固定 20 条业务 prompt 做 A/B 对比,重点看长输出的后半段——量化损伤最常见的表现不是答错,而是长程一致性变差(前后矛盾、遗忘开头约束)。困惑度抓不到这类退化,人评或 LLM 评委才看得见。
这一篇在知识体系里的位置
本篇是端侧/CPU 推理部署线的速查:上游 llama.cpp GGUF 格式、权重量化 per-group scale;同层 weight-only 量化 GPTQ/AWQ(GPU 侧的对应方案)、W4A16 GPTQ kernel、量化校准基础。
总结
GGUF K-quant 选型就三句话:后缀选 _M(混合精度配方里性价比最稳的一档);位宽在内存预算内选最高档,默认答案 Q4_K_M、质量敏感上 Q5_K_M、Q6_K 接近无损、Q2_K 只用于研究;CPU 推理因内存带宽瓶颈让低位宽「又小又快」,Q4_K_M 比 Q8_0 快五成以上,配物理核数线程和部分层 GPU 卸载就是端侧部署的标准姿势。