fetch_add 竞争:同一原子变量被多核猛加时吞吐如何塌方与扩容
承 atomic-lock-cacheline-impl 对原子操作硬件实现的拆解,以及 snoop-latency-probe-hit 对 hitm 延迟的量级分析。本篇把镜头对准一个具体场景:N 个核对同一个
std::atomic<uint64_t>疯狂 fetch_add。全局计数器、QPS 统计、引用计数、ID 分配器——这类代码到处都是,而它的伸缩性曲线难看得超乎想象。
本文要回答的问题
- 无竞争时一次 fetch_add 多少周期?它慢在哪?
- 竞争起来后吞吐随核数怎么变化?为什么不是线性、甚至倒退?
- 「乒乓延迟」如何决定全局原子计数器的吞吐天花板?
- per-core 分片、批量提交、层级聚合三种扩容手段各自怎么算账?
- 什么场景下全局原子计数器根本不该用?
一、无竞争基线:便宜但不免费
line 已在本核 M 态时,一次 lock xadd(fetch_add 的 x86 实现)大约 10-25 周期。比一条普通 add(1 周期)贵一个数量级,贵在三点:一是它本质是一次「读-改-写」复合微操作,占用 load 和 store 两口;二是它带完整内存序语义(x86 上 LOCK 前缀指令是全屏障,见 fence-memory-barrier-cost),前后的 load/store 不能越过它乱序,等于在乱序窗口里打进一根楔子;三是 ROB 里 LOCK 类指令的退休路径有额外约束。
单线程循环 fetch_add 自己,实测吞吐大约每 10-20 周期一次——这个数就是天花板里的天花板,后面所有竞争场景都从它往下掉。
二、竞争曲线:吞吐不随核数涨
现在让 N 个核同时加同一个变量。一致性协议强制串行化(细节见 atomic-lock-cacheline-impl):每个核必须先抢到 line 的 M 态才能动手,于是所有核的 fetch_add 被排成一条纵队,纵队的节奏 = line 在核间倒手的延迟。同 socket 内倒一次手 50-150 周期,吞吐立刻变成每秒几千万次封顶;跨 socket 走 UPI,倒手 200-400+ 周期,吞吐掉到每秒千万次以下。
画出来是这样:1 核 ~5000 万次/秒;2 核不增反降到 ~2000 万(开始倒手);4 核 ~1500 万;8 核以后基本平躺——加核对吞吐没有任何帮助,只是排队的人变多了。这还没算伪共享的放大效应:如果计数器旁边躺着其他热数据(没做 64 字节对齐隔离),无辜数据跟着 line 一起乒乓,全机 IPC 都被拖下水,见 mesi-false-sharing。
这张图的核心信息:竞争下的原子计数器不是并行结构,是一根独木桥。桥宽(倒手延迟)由硬件一致性路径决定,软件改不了桥宽,只能让人少过桥——这就是下面三种扩容手段的共同思路。
三、三级扩容手段
第一级:per-core 分片(striping)。 每个核算自己的私有计数器(按 64 字节对齐隔离),读总数时遍历求和。写路径完全无共享,吞吐随核数真线性;代价是读贵了(O(N) 且读到的总和在并发写下只是近似快照)。适合「写极频繁、读极少」的场景:统计计数器、profiling 采样。Linux 内核的 percpu_counter、Java 的 LongAdder(Cell 分片 + 竞争时扩容哈希表)都是这个思路。注意 LongAdder 的分片数是按竞争动态扩的,64 核机器上它比手写固定 64 分片更抗退化。
第二级:批量提交(batching)。 线程本地攒一个 delta,攒够 K 次(或每过 T 毫秒)一次性 fetch_add 进全局。过桥次数降为 1/K,几乎不丢读的精度(误差有界 K×线程数)。ID 分配器天然适合:一次领 1000 个号段,本地慢慢发。引用计数不适合——每次增减都可能有语义后果。
第三级:层级聚合(hierarchical)。 核数特别多(上百核、多 socket)时,单层分片的「读时求和」也开始疼:遍历 128 个分片本身就要跨 128 条 line。改成树形——socket 内先聚合到一个 socket 级计数器(本 socket 内倒手便宜),socket 间再聚合到全局。写路径只爬树高,读路径可以选择性只读某层。内核的 percpu_counter 批量阈值、ZGC 的引用处理统计都用了层级思想。
| 手段 | 写吞吐 | 读代价 | 读一致性 | 适用场景 |
|---|---|---|---|---|
| 全局 fetch_add | 低(独木桥) | 一次 load | 精确 | 低频、要强一致 |
| per-core 分片 | 线性伸缩 | O(N) 遍历 | 近似快照 | 统计、计数 |
| 批量提交 | 提升 K 倍 | 一次 load | 有界误差 | ID/额度分配 |
| 层级聚合 | 近线性 | 按层选择 | 分层近似 | 百核级、多 socket |
四、一个可复现的竞争曲线实验
想看塌方曲线长什么样,五十行 C 就能复现:N 个线程各绑一个核,在 10 秒内对同一个对齐到 64 字节的 atomic<uint64_t> 猛做 fetch_add,各自记录次数求和;N 从 1 扫到机器核数。几个让数据干净的细节:
- 计数器单独占一条 line(
alignas(64)),前后再垫 64 字节,把伪共享从实验里剔出去——否则你测的是「伪共享 + 竞争」的混合体; - 每个线程用独立循环计数,最后聚合,不要在循环里再碰任何共享变量;
- 循环体里只有 fetch_add 和循环判断,避免其他指令稀释结论;
- 跨 socket 机器上分别测「线程全在同 socket」和「线程均匀撒到两 socket」两组,第二条曲线的断崖位置就是 UPI 倒手延迟的定价。
典型结果形态:1 核时吞吐最高;2 核直接腰斩(开始倒手);此后到 8-16 核基本平躺,曲线呈 L 形。把同样实验换成 per-core 分片版(每核算自己的 line),曲线变成漂亮的上升直线——同一个程序、同一台机器,L 形和直线的差别就是那根独木桥。这个实验值得放进新人的性能培训材料,比讲十遍「原子操作有开销」都直观。
五、什么时候干脆别用原子计数
三类场景全局原子计数器是错误答案。其一,热路径上的限流/配额检查:每次请求都 fetch_add 一次「当前在途数」,高并发下这个计数器本身成了全系统的独木桥——换成信号量式的预分配或批量额度。其二,分布式 ID/序列号:单机内就该分段,跨机更应该号段隔离,原子加只是单点串行化的体面说法。其三,把原子变量当锁用(自旋抢一个 flag 的读写位):锁的获取是「竞争时必须串行」不假,但朴素自旋会让 line 在所有等待者间狂转,用排队锁(ticket/MCS)或带退避的 CAS 才不至于把互连带宽烧穿。
一个快速自检:对系统里每个全局原子变量问两个问题——「它每秒被加多少次」「最坏情况下几个核同时碰它」。次数×核数一旦上万,提前换分片方案,别等线上 P99 教你。
再补一个容易忽视的细节:读全局原子变量本身也可能制造流量。「只读不写」的线程 load 这条 line 时,如果另一个核正在 M 态猛加,读的一方会把 line 抢成 S 态、写的一方又得抢回 M 态——纯读取者把写者的独木桥又踩窄了一截。所以「高频写 + 高频读」的计数器,即使读端不用原子加,也照样挨竞争的刀;监控线程采样频率别开太狠,或者干脆读分片版本。
这一篇在知识体系里的位置
硬件机制见 atomic-lock-cacheline-impl,倒手延迟的量化见 snoop-latency-probe-hit,伪共享放大效应见 mesi-false-sharing,跨 socket 互连背景见 uncore-ring-mesh-interconnect,内存序语义代价见 fence-memory-barrier-cost。
总结
fetch_add 竞争的物理本质是「一条 cache line 的 M 态独木桥」:竞争下吞吐被钉死在 1/核间倒手延迟,加核无用甚至倒退;扩容只有三条路——per-core 分片、批量提交、层级聚合,共同点都是让核少过桥,而不是幻想桥会变宽。