CPU 推理绑核:llama.cpp 线程绑定、NUMA 与大小核实测
更新时间:2026-10-02。上一篇 llama.cpp GGUF 格式 讲了模型文件怎么组织、量化位宽怎么选,当时留了个尾巴:同样的模型文件,换一组线程参数速度能差出 30% 甚至一倍。这篇就拆这个尾巴——CPU 推理绑核(thread binding / CPU affinity)为什么有效、
--threads给多少合适、NUMA 双路和消费级大小核各怎么处理。KV cache 本身的内存账可对照 KV cache 与推理显存。
本文要回答的问题
- llama.cpp 的 CPU 推理瓶颈到底在算力还是内存带宽?这和绑核有什么关系?
--threads开多少最快?为什么「开满逻辑核」经常反而变慢?- NUMA 双路服务器上,跨路访问代价多大,numactl 该怎么绑?
- Intel P/E 大小核机器上,线程该怎么挑核?
- 一组可复现的实测数字长什么样?
一、先认清瓶颈:decode 是带宽活,prefill 是算力活
llama.cpp 在 CPU 上跑推理,两个阶段的压力完全不同。prefill(吃下整段 prompt)是大块矩阵乘,算力密集,线程越多越快,直到打满算力或带宽中先到的那堵墙。decode(逐 token 生成)则每步都要把整份量化权重从内存读一遍,只做一个 token 的前向——7B Q4 模型每步要搬约 4 GB,一个内存带宽 60 GB/s 的平台,理论上限就是 15 tok/s 左右,线程再多也撞不破带宽墙。
这个判断直接决定了绑核的价值:decode 阶段的问题不是「核不够」,而是「核放错了位置」——线程漂到远端 NUMA 节点导致一半的内存访问跨路、或者被调度器扔到 E 核上拖累整体同步。绑核不增加带宽,它只是消除「人为制造的额外远路」。
可以粗略算一笔账验证这个判断:Q4_K_M 量化的 7B 模型权重约 4.1 GB,decode 每生成一个 token 至少把权重过一遍,加上 KV cache 和激活的小头,按 4.2 GB 算。双通道 DDR5-5600 的理论带宽约 90 GB/s,实测推理能吃到六七成已经不错,按 60 GB/s 计,理论上限 14 tok/s——这和后文实测的 14.8 tok/s 几乎贴着,说明这台机器已经把带宽榨干了,再调线程已无空间,想更快只能上四通道平台或换更小的量化位宽。反过来,如果实测明显低于这个理论值(比如只有 9 tok/s),那八成就是线程摆放出了问题,绑核正是来收这笔差价的。
二、线程数怎么定:物理核是上限,甜点常在八成
llama.cpp 的 -t/--threads 默认开满逻辑核,这几乎总是错的起点。三条经验:
- 数物理核不数逻辑核。超线程的两个逻辑核共享同一套执行端口和缓存带宽,推理这种规则负载上超线程收益通常在 ±5% 以内,还经常为负。
- 甜点常在物理核的 70%~90%。decode 阶段线程超过「能打满内存控制器」的数量后纯涨同步开销。一台 8P+8E 的机器,decode 甜点往往在 6~8 线程,而不是 24。
- prefill 和 decode 分开配。新版本支持
--threads-batch单独给 prompt 处理开更多线程,各取所长。
| 场景 | 建议起点 | 理由 |
|---|---|---|
| 纯 decode 交互聊天 | 物理核数 × 0.75 | 带宽已饱和,少线程少同步 |
| 长 prompt 预填充 | 物理核数(--threads-batch) | 算力活,线程多好 |
| 机器还要干别的 | 物理核数 - 2 | 给系统和其他进程留呼吸空间 |
| 超线程平台 | 关掉 SMT 的另一半 | 避免两线程挤一个物理核 |
三、绑核实操:taskset 与 numactl
线程数定了,下一步是把线程「钉」在正确的核上。Linux 下两件套:taskset 管 CPU 亲和性掩码,numactl 管 NUMA 节点级的 CPU 加内存策略。
单机单路(普通台式机、笔记本)上最常见的一行:
taskset -c 0-7 llama-cli -m model-Q4_K_M.gguf -t 8 -p "你好" -n 128这把进程的所有线程约束在 0~7 号核(通常就是 8 个 P 核或 8 个物理核),调度器不再把线程搬到远处的核上,缓存局部性和内存通道分布都可预期。注意绑核和 -t 要配套:绑 8 个核开 16 线程,只会让两两线程挤同一个核,比不绑更糟。
NUMA 双路服务器上坑更大。Linux 的默认内存策略是 first-touch——哪个线程先碰内存,页就落在哪个节点。llama.cpp 的权重由主线程一次性 mmap 读入,结果往往是整份权重全落在节点 0,而线程却散布在两个节点上:节点 1 的线程每次 decode 都要走 UPI/Infinity Fabric 跨路读权重,跨路延迟高 50% 以上、带宽腰斩。正确姿势是把整个进程连同内存一起圈在一个节点里:
numactl --cpunodebind=0 --membind=0 llama-cli -m model.gguf -t 16 -p "..." -n 128模型大到单节点内存装不下时,退而求其次用 --interleave=all 让权重页交错分布到两个节点,各节点线程就近读一半,比全堆在一个节点强。更系统的 NUMA 背景见 NUMA 架构原理 与 NUMA 优化实践。
上图就是双路不绑核的典型惨状:一半线程的每次权重读取都要穿过跨路互连。把进程圈进单节点后,所有访问变成本地内存,decode 速度实测可提升 40% 以上。
四、大小核:把线程钉在 P 核上
Intel 12 代以后的消费级 CPU(以及 Apple Silicon、ARM big.LITTLE)是异构核:P 核(性能核)强、E 核(能效核)弱且共享 L2 簇。llama.cpp 的线程间有大量 barrier 同步——每算完一层所有线程要对齐一次。木桶效应在这里极其明显:一个被调度到 E 核的线程,会让全部 P 核每层都等它。实测 8P+8E 平台上,不绑核开 16 线程的 decode 速度,常常输给「只用 6~8 个 P 核」。
做法:用 lscpu -e 或 /sys/devices/cpu_core/ 找出 P 核编号(Linux 的 cpu_capacity 也能区分),然后 taskset -c <P核列表> 钉死。E 核要不要用?prefill 阶段算力饥渴时可以连 E 核一起吃(多线程吞吐仍有增益),decode 阶段建议纯 P 核。
macOS 和 Apple Silicon 上没有 taskset,但系统调度器对大小核的感知比 Linux 好,加上统一内存带宽本来就高,不绑通常也接近最优;想干预可以用 taskpolicy 或直接在代码里设 affinity tag,但收益远小于 x86 平台,一般不值得折腾。ARM 服务器的 big.LITTLE 配置同理:先确认 llama.cpp 线程是否被调度器均匀撒到了大核小核上,再决定是否用 cgroup cpuset 圈定。Windows 下对应工具是 start /affinity 或 PowerShell 的 ProcessorAffinity,思路完全一致。
五、一组实测数字
测试平台:桌面 8P+8E(约 68 GB/s 双通道 DDR5)+ 双路服务器(2×32 核,8 通道/路),模型 LLaMA 系 7B Q4_K_M,prompt 512 token、生成 128 token,取 decode tok/s:
| 配置 | 桌面 decode tok/s | 双路 decode tok/s |
|---|---|---|
| 默认(-t 逻辑核全开,不绑) | 11.2 | 9.8 |
| -t=物理核,不绑 | 12.6 | 14.1 |
| -t=6~8 + taskset 钉 P 核 / 单节点 | 14.8 | — |
| numactl 单节点圈定 | — | 21.5 |
| 双节点 interleave | — | 17.9 |
规律一目了然:绑核的收益在 NUMA 双路上最夸张(翻倍),在大小核机器上是稳稳的 15%~30%,而且全部零成本——不改模型、不改代码,只是换几条启动参数。
还有两个常见误区值得点名。其一,容器环境里 taskset 看到的是容器 cpuset 内的核号,和物理拓扑对不上,NUMA 语义会错位,此时应先在宿主机层面把容器钉到单节点(docker run --cpuset-cpus 配合 --cpuset-mems),容器内再谈绑核才有意义。其二,llama.cpp 的 -t 只控制计算线程,mmap 加载、采样输出等环节在别的线程上,绑核掩码太紧时(比如只给 4 个核却开 8 线程)这些辅助线程会和计算线程抢核,表现为忽快忽慢的抖动——判断方法就是绑核前后各跑三次取中位数,方差明显变大说明挤核了。
这一篇在知识体系里的位置
本篇是 llama.cpp 本地推理工程化的一环:上游是 llama.cpp GGUF 格式(模型文件与量化位宽的选择)与 KV cache 与推理显存(内存占用的账);系统侧背景见 NUMA 架构原理 与 NUMA 优化实践;下游可延伸到 KV cache offload CPU 混合推理(显存不够时 CPU/GPU 怎么分工)。
总结
CPU 推理绑核的本质是「别让线程跑远路」:decode 阶段性能由内存带宽封顶,线程数按物理核七到八成配,单机用 taskset 钉在 P 核上,NUMA 双路用 numactl 把 CPU 和内存圈进同一节点(装不下再 interleave),消掉跨路访问和大小核木桶效应之后,llama.cpp 的 decode 速度白捡 15% 到一倍。