页着色:操作系统页分配如何控制 cache conflict miss
更新时间:2026-10-02。VIPT cache 与同义别名问题 那篇讲过:物理索引 cache 的 set 索引位来自物理地址,操作系统分配哪一页,直接决定了这块数据落在哪些 cache set 里。缓存替换策略 LRU 及其变体 讲了单条 set 内部怎么淘汰,但没讲「多个进程的数据怎么不挤进同一条 set」。页着色(page coloring,也叫 cache coloring)回答的就是这件事:通过让物理页分配器感知 cache set 的索引位,把不同数据流「涂」到不同的 set 区间里,从源头压住 conflict miss。它是纯软件手段,和硬件方案 Intel CAT cache 分区 解决同一类问题,思路却完全不同。
本文要回答的问题
- 为什么物理页的分配会影响 cache conflict miss?set 索引位和页边界的关系是什么?
- 「颜色」具体是怎么算出来的,一个 8MB LLC 能分出几种颜色?
- 页分配器按颜色分配后,是怎么压低 conflict miss、隔离进程干扰的?
- 页着色和硬件 cache 分区(CAT)各有什么优劣,什么时候用哪个?
- 这套思想为什么在现代大页、slice hash 时代越来越难用?
一、问题的根源:set 索引位落在物理地址的哪一段
物理标记物理索引(PIPT)或物理索引部分的 VIPT cache,其 set 索引位取自物理地址的中间一段:低位是 cache line 内偏移(6 位,64 字节线),往上若干位是 set 索引,再往上是 tag。以一个典型的 8MB、16 路、64 字节线的 LLC 为例:set 数 = 8MB / 16 / 64 = 8192 条,索引占 13 位(位 6 到位 18)。4KB 页的页内偏移只有 12 位(位 0 到位 11),也就是说位 12 到位 18 这 7 个索引位落在页框号里——操作系统把哪个物理页分给进程,就决定了这页的数据覆盖哪些 set。
麻烦就在这里:Linux 的伙伴系统分配物理页时只看空闲链表,完全不知道 cache 长什么样。两个进程恰好拿到「颜色相同」的一批页,它们的热点数据就会在同一批 set 里互相踢;一个进程工作集只有 2MB,却因为页的分布全都挤在某 1MB 对应的 set 区间上,照样 conflict miss 打满。容量明明够,miss 率却像容量不够一样——这就是 conflict miss 的欺骗性,也是 IPC 瓶颈分析 里「cache 够大但 miss 率高」的常见根因之一。
上图把地址切分画清楚了。关键洞察是中间那条「裂缝」:set 索引段跨在页内偏移和页框号的边界上。低 6 位索引(位 6 到 11)进程自己用页内偏移就能覆盖,高 7 位(位 12 到 18)完全由操作系统分配哪一页决定。这 7 位就是「颜色」——8MB LLC 共有 128 种颜色,每种颜色对应 8MB/128 = 64KB 的 cache「条纹」。分到一个颜色的页,只能占据这 64KB 对应的那些 set。
二、着色分配:让页框选择感知颜色
页着色的做法一句话说完:分配物理页时,按某种策略挑选颜色,让不该互相干扰的数据落到不同颜色上。具体策略有几代。
第一代是「桶着色」:把进程(或虚拟地址区间)编号对颜色数取模,进程 i 固定用颜色 i mod C。好处是简单确定,两个进程天然错开;坏处是静态,进程多了颜色必然复用。第二代是「轮询着色」:每次分配都发下一种颜色,让一个进程自己的页均匀铺满所有颜色——这解决的是另一个问题:单进程大数组的页如果都同色,数组自己内部就会 conflict。轮询保证任意一段连续虚拟内存都能铺满全部 set。第三代是把着色和调度联动:同时运行的进程组按颜色配额分配,配合 NUMA 本地远端延迟 的考虑,把「cache 亲和」和「内存节点亲和」一起算进页分配。
实现上并不优雅。Linux 的伙伴系统按 2 的幂次块管理空闲页,要按颜色挑页,得把空闲链表按颜色再切一层,或者分配时遍历跳过颜色不对的页框。研究原型(如当年的 FreeBSD page coloring、若干 Linux patch)大多用「每阶每颜色一条链表」的结构,代价是内存管理的热路径变长、碎片化倾向变高——你需要的阶块颜色不对,就只能拆更大的块。
上图是着色分配的数据流。注意它和硬件 CAT 的本质差异:CAT 是在 cache 侧给每个 CLOS 划 way 掩码,跑起来还能动态改;页着色是在内存侧决定数据落在哪些 set,一旦页分配完就固定了,想调整得复制页面搬家(page migration),代价大得多。这也是为什么 CAT 面世之后,主流服务器场景基本倒向了硬件方案。
三、什么时候有用,什么时候失灵
页着色没有死,它在几个场景里仍然是正确答案,但边界必须清楚。
先说什么时候仍然值得。一是嵌入式和实时系统:芯片没有 CAT 这类硬件分区,又对最坏情况延迟(WCET)有硬要求,着色能给关键任务保留一段不被踢的 set 区间,把「可能被干扰」变成「结构上不可能被干扰」。二是单进程内部的自干扰:一个进程顺序扫描两个大数组做归并,如果两个数组的对应页颜色相同,两股数据流在同批 set 里对踢,working set 远小于 cache 也照样 thrash;对这类数组做页对齐偏移或着色错开,是高性能计算里的老手艺,与 硬件预取器 友好的数据布局是同一门功课。三是理解现象的必备模型:就算你从不动手配色,排查「换个进程绑定顺序性能差 30%」这类问题时,颜色模型往往就是谜底。
再说失灵的边界,这比优点更重要:
| 现实变化 | 对着色的冲击 |
|---|---|
| 大页普及(2MB/1GB,见 大页与 TLB 压力) | 页框号低位大量变成页内偏移,2MB 页时颜色位只剩 0 到几位,几乎无色调 |
| LLC slice hash(见 cache slice hash 寻址) | set 索引被多地址位异或打散,颜色和 set 的映射不再是简单的低位直连 |
| 非包含式/混合 LLC | LLC 行为弱化后,着色的收益层从共享 LLC 缩到私有 L2,颜色数更少 |
| 硬件 CAT 普及 | 动态、细粒度、不动内存管理,抢占着色的服务器场景 |
| 页着色自身代价 | 空闲链表分裂、碎片化、分配热路径变长,内核社区始终不愿合入主线 |
这张表也解释了为什么你在主线 Linux 里找不到 page coloring 选项:它不是被忘了,而是被硬件演进架空了。
这一篇在知识体系里的位置
本篇在微架构模块的 cache 线上,补「软件侧的 cache 布局控制」这一格。前置是 VIPT cache 与同义别名问题(set 索引与地址的关系)和 缓存替换策略 LRU 及其变体(set 内部的淘汰);对偶的硬件方案是 Intel CAT cache 分区;现代 LLC 的寻址复杂性见 cache slice hash 寻址;conflict miss 落到性能指标上的表现见 IPC 瓶颈分析 和 MSHR miss 状态寄存器。
总结
页着色是利用「set 索引高位落在页框号里」这一事实,让操作系统的物理页分配按颜色选页,把不同进程或不同数据流铺到不同的 cache set 区间,用纯软件手段把 conflict miss 变成可控的资源划分;它在无硬件分区的嵌入式与实时场景、以及单进程自干扰优化里仍然有效,但在大页、slice hash 和硬件 CAT 的三重挤压下,服务器主流场景已经把这一课交给了硬件。