Intel CAT:way mask 与 CLOS 怎么把 LLC 切成几块,以及云上混部能靠它隔离什么
在 缓存替换策略 里我们看过一个 cache set 内部怎么选人淘汰,在 LLC slice 哈希 里看过物理地址怎么被分发到十几个分片。这两篇讲的都是硬件自动行为,软件插不上手。但只要一台机器上跑两个以上的负载——云厂商把在线业务和离线批处理混部在一台物理机上就是典型——「谁占多少 LLC」就成了必须能控制的资源问题。Intel CAT(Cache Allocation Technology,缓存分配技术)就是 Intel 给出的硬件级答案。
本文要回答的问题
- Intel CAT 用哪两个概念(CLOS 与 way mask)表达「缓存划分」?
- 一条内存请求进来,硬件在哪一步按 CAT 的规则区别对待?
- Linux 下怎么用 resctrl 接口实际配置 CAT?
- CAT 在云上混部里能隔离什么、隔离不了什么?
- 它的两大局限——粒度粗、争抢未消——具体指什么?
一、两个核心概念:CLOS 与 way mask
CAT 的模型出奇地简单,全部机制就建立在两个抽象上。
CLOS(Class of Service,服务类别) 是一个编号桶。处理器支持有限个 CLOS(常见 4~16 个,视型号而定),每个核、每个线程在任意时刻挂在一个 CLOS 上——由该核上 IA32_PQR_ASSOC 寄存器里的 RMID/CLOS 字段决定。线程切换时内核改写这个寄存器,CLOS 就随上下文走。
way mask(路掩码) 是每个 CLOS 对应的一张位图。回忆 缓存替换策略 里的组相联结构:LLC 每个 set 有 W 条路(way),CAT 给每个 CLOS 配一个 W 位的掩码,位为 1 表示「这个类别的线程可以往这些 way 里填数据」。掩码之间存在两条硬件约束:每个 CLOS 的 1 位必须连续(比如 0xFF0 合法、0xF0F 不合法);掩码长度受 capacity bitmask length 限制,通常 11~20 位,对应把 LLC 切成最多 20 份粒度。
两者合起来的语义就是一句话:CLOS n 的线程在 LLC 里只能占用 way mask[n] 标出的那些路。不同 CLOS 的掩码可以重叠——重叠的部分大家共享、互相踢;不重叠的部分才是硬隔离。
这张图里要注意的一点是:way mask 限制的是「填哪」,不是「读哪」。CLOS 0 的线程仍然可以命中 CLOS 1 填进缓存的数据(只要地址相同、权限合法),CAT 不做安全隔离,只做容量配额。这一点决定了它管不了侧信道,后面还会提到。
二、请求路径上 CAT 在哪一步生效
一条 L2 miss 的请求抵达 LLC 时,硬件先按 LLC slice 哈希 算出目标分片,再在分片内算出 set index。到这里为止和没有 CAT 完全一样。CAT 在填 entry 的那一刻生效:替换逻辑(pseudo-LRU 之类)先照常选出候选牺牲者,但如果候选者所在的 way 不在当前线程 CLOS 的掩码里,它就不能被选;选择范围被收窄到掩码标出的那些路。
这意味着 CAT 不改变 slice 选择、不改变 set 寻址、不改变替换算法本身,只是给替换器加了一个「可选 way 集合」的过滤条件。实现代价低,这也是它能进硬件的原因。同时这也解释了它的第一个局限的来源:way mask 只作用于「逐出选择」,对已经在缓存里的数据没有逐出能力——你缩小某个 CLOS 的掩码,旧数据要等自然淘汰或被别的 CLOS 挤走才慢慢腾出空间,调整不是即时的,收敛时间是秒级甚至更长。
| 机制 | 作用点 | 软件可控性 |
|---|---|---|
| slice 哈希 | 选分片 | 不可控(公式不公开) |
| set index | 选组 | 间接(地址布局) |
| CAT way mask | 限定可填的 way | 完全可控(MSR/resctrl) |
| 替换策略 | 组内选牺牲者 | 不可控 |
| 页着色(软件划分) | 选组层面隔离 | 可控但需改内核/分配器 |
三、Linux 下的用法:resctrl
Linux 从 4.10 起通过 resctrl 文件系统暴露 CAT。挂载后 /sys/fs/resctrl/ 下每个目录就是一个控制组,对应一个 CLOS:
mount -t resctrl resctrl /sys/fs/resctrl
mkdir /sys/fs/resctrl/online
echo "L3:0=fff00" > /sys/fs/resctrl/online/schemata # 第 0 号缓存域给高 12 路
echo 12345 > /sys/fs/resctrl/online/tasks # 把 pid 12345 挂进去schemata 按缓存域(L3 通常按 socket 或按 L3 实例编号)分别写掩码,掩码用十六进制、连续 1 位。配套的 intel_cqm/resctrl mon 还能按 RMID 统计每个组的 LLC 占用量和内存带宽(这是 MBA/MBM 家族的能力,常与 CAT 搭配使用)。K8s 生态里,Intel 的 resctrl 插件、cri-o/containerd 的 RDT 支持、以及各类混部方案(如 Koordinator)最终都是落到这几行写操作上。
四、云上混部:能隔离什么,不能隔离什么
混部的经典矛盾是「填鸭子」:在线服务(时延敏感)平时吃不饱,离线批处理(吞吐导向)一上线就把 LLC 冲掉,在线 P99 尾延迟飙升。CAT 的价值正在这里——给在线业务划一块独占的 way,离线任务无论多能吃,也只能在自己那几路里折腾,LLC miss 率不再互相传导。实测报告里,合理划分后在线负载的尾延迟抖动可以收敛一半以上,而离线吞吐的代价通常只有几个百分点。
但「争抢」不只有 LLC 一处。CAT 管不到的地方至少还有:
- 内存控制器与 DRAM 带宽:LLC 隔离了,离线任务的 miss 流照样打满内存带宽,在线的 miss 延迟照样变差。需要搭配 MBA(Memory Bandwidth Allocation)限速。
- L1/L2:CAT 只作用于 LLC(部分型号支持 L2 CAT),核私有缓存不受影响——好在同核争抢本来就该靠调度解决,见 SMT 同时多线程 对同核资源争抢的讨论。
- 片上互连队列:ring/mesh 互连 的排队延迟不受 way mask 约束,高 miss 率负载依然会拖慢全网。
- 侧信道:掩码重叠即共享,共享即存在 Prime+Probe 通道;即使完全不重叠,跨 set 的端口竞争仍可被探测。CAT 是性能 QoS 工具,不是安全边界。
| 争抢点 | CAT 是否覆盖 | 配套手段 |
|---|---|---|
| LLC 容量 | 是 | way mask 隔离 |
| LLC 带宽/端口 | 部分 | 无直接手段 |
| 内存带宽 | 否 | MBA 限速 |
| L1/L2 | 否(多数型号) | 调度、核绑定 |
| 互连队列 | 否 | 限制 miss 率源头 |
| 侧信道 | 否 | 物理隔离/专机 |
五、两大局限:粒度与「争抢未消」
局限一:粒度粗。 way 是划分单位,一颗 20 路 LLC 的 CPU 最小也只能切出 1/20 的容量;而且 1 位必须连续,想表达「30% 加另外离散的 10%」做不到。掩码重叠虽然灵活,但重叠部分又退化成共享争抢,隔离强度与利用率之间存在硬权衡。CLOS 数量也只有个位数到十几个,想给每个容器一个类别根本不够分,只能按「业务等级」粗分。
局限二:争抢未消。 如前所述,CAT 只挪走了「LLC 容量」这一个争抢维度,内存带宽、互连、队列全都没动。离线任务被关进小路之后,它的 LLC miss 率反而上升,发到内存子系统的请求更多,在线业务在 DRAM 排队上受的罪可能不降反升——这就是为什么严肃的混部方案一定是 CAT 加 MBA 加带宽监控三件套一起上,而不是只配一个 way mask 就宣布胜利。另外 CAT 调整生效慢(秒级收敛),跟不上毫秒级的负载突变,它适合划「稳态边界」,不适合做动态调压。
这一篇在知识体系里的位置
本篇是微架构长尾层,向上承接 缓存替换策略(CAT 只是替换器上的过滤条件)、LLC slice 哈希(CAT 生效点之后的寻址照旧)与 缓存包含性(划分只发生在 LLC 一层);向旁连接 ring/mesh 互连(CAT 管不到的争抢维度)与 IPC 瓶颈拆解(混部下尾延迟恶化的测量入口)。
总结
Intel CAT 用「线程挂 CLOS、CLOS 配 way mask」两层映射,在 LLC 替换器上加了一道可选 way 过滤,把末级缓存容量按业务类别切开;配置只需 resctrl 几行写操作,云上混部靠它能把在线业务的缓存争抢与尾延迟抖动显著收敛——但它粒度以路为单位、CLOS 数量有限、调整秒级收敛,且内存带宽、互连、侧信道这些争抢维度一概管不了,必须与 MBA 和带宽监控配套,才能算一套完整的混部 QoS 方案。