MSHR 未决缺失处理:缓存缺失不是停下来等,而是记账、合并、并发地等
在 数据冒险与 L1 缺失 里我们看过一次 L1 miss 要花多少拍,在 硬件预取器 里看过怎么提前把数据搬进来减少缺失。这两篇都默认了一件事:缓存一旦 miss,核心只能干等。这一篇戳破这个假设——现代核心的 L1/L2 是非阻塞缓存(non-blocking cache),miss 之后核心照常跑,而真正让这件事成立的小表,就是本篇的主角:MSHR。
本文要回答的问题
- MSHR 未决缺失处理到底在记什么账,一笔缺失登记表项里有哪些字段?
- 同一块缓存行的两次缺失为什么只发一次访存请求,合并是怎么做的?
- MSHR 的项数为什么决定了核心的内存级并行度(MLP)上限?
- MSHR 耗尽时核心会发生什么,性能计数器上怎么认出这种停顿?
一、MSHR 是什么:一张"未决缺失"的记账表
MSHR 全称 Miss Status Holding Register(缺失状态保持寄存器)。名字里有"寄存器",但它其实是一组结构相同的表项——L1D 缓存每发生一次 miss,硬件就在 MSHR 里开一行,记下这笔缺失的全部后事:
| 字段 | 作用 |
|---|---|
| 缓存行地址(block address) | 缺的是哪一行,用于后续缺失的合并比对 |
| 目标位置(way/offset) | 数据回来后填进缓存的哪个位置 |
| 等待者清单(load/store 队列索引) | 有哪些 µop 在等这一行的哪些字节 |
| 请求类型与状态 | demand load / store / prefetch,已发出/已拿到数据 |
| 下级请求标识 | 发给 L2 的事务 ID,用于响应回来时对号入座 |
可以把它想成快递驿站的登记簿:每个没到的包裹登记一行,写着单号、收件人、到了放哪个货架。包裹(缓存行)从下级缓存或内存回来时,按登记簿对号入座、通知收件人(唤醒等待的 load)、把行填进缓存、然后销掉这行登记。
有了这本账,一次 miss 就不再是"停机等数据",而是"登记一笔,继续执行后面的无关指令"。这正是非阻塞缓存和老的**阻塞缓存(blocking cache)**的分水岭——阻塞缓存一次只允许一笔在途缺失,第二笔 miss 直接卡住整个缓存;非阻塞缓存允许 N 笔同时在途,N 就是 MSHR 的项数。
二、缺失合并:同一个块的多次 miss 只去一次内存
真实程序里,相邻的 load 经常落在同一缓存行上——遍历结构体数组、顺序扫一个 buffer,64 字节的一行能被好几条指令踩到。如果每条 load 都各自发一次访存,带宽会被白白放大。MSHR 的第二个职责就是缺失合并(miss merging):新缺失进来时先拿块地址和现有表项逐一比对,命中已有表项就只往"等待者清单"里追加一个收件人,不再向下级发新请求。
图里 load A 和 load B 落在同一缓存行(0x1040 和 0x1058 差 24 字节,同属一行):A 先到,开出表项 0 并向 L2 发请求;B 晚几拍到达,块地址比对命中表项 0,于是 B 只把名字写进等待者清单,不再发第二次请求。数据回来时,A 和 B 一起被唤醒。load C 缺的是另一行,独立占表项 1,两笔请求并发在途——这就是内存级并行(Memory Level Parallelism,MLP)的微观形态:一条访存流水线名义上要 200 拍,但只要 MSHR 项数够,多条独立缺失的延迟是重叠的,而不是相加的。
合并省的不只是带宽。DRAM 的激活/预充电有实打实的功耗成本,同块只访存一次意味着内存控制器少干活;对预取请求也一样——预取器想要的行如果已经有 demand miss 在途,预取请求直接丢弃即可,因为那份数据反正快到了。
三、MSHR 项数:MLP 的天花板,也是设计的烫手山芋
既然并发缺失这么好,为什么不把 MSHR 做大?因为 MSHR 的每一项都要参与全相联地址比对——每来一笔新缺失,所有占用项的块地址都要并行比较一次,这是 CAM(内容寻址存储器)式的硬件,项数翻倍,比对阵列的面积和功耗近似翻倍,比对延迟还可能爬上关键路径。所以各代核心的 MSHR 项数都在 8~32 之间小心地取:
| 结构位置 | 典型项数 | 项数意味着什么 |
|---|---|---|
| L1D MSHR | 8~16 | 核心同时容忍的 L1 miss 在途数 |
| L2 outstanding 请求 | 16~32 | 整个 L2 向内存方向的并发度 |
| 每核向内存的有效并发 | ≈ L1 MSHR 数 | 单核能"摊薄"内存延迟的上限 |
这个上限是可以算出来的。假设内存延迟 100 ns、每条缓存行 64 字节,MSHR 只有 10 项,那么单核每秒最多拿到 10 × 64B / 100ns = 6.4 GB/s 的 demand 带宽——哪怕内存控制器理论带宽是 50 GB/s。延迟型访问的单核带宽 ≈ MSHR 项数 × 行大小 ÷ 内存延迟,这就是著名的 Little's Law 在访存系统里的样子。项数翻倍的收益在访存密集型负载(指针追逐、大数据扫描)上是立竿见影的;项数不够时,预取器也救不回来,因为预取请求同样要占 MSHR 项。
四、MSHR 耗尽:一种隐蔽的结构性停顿
MSHR 项全部占满、又来一笔新缺失时会发生什么?核心不会崩溃,但会进入一种特殊的停顿:新的 load/store 无法登记缺失,LSU 停止向缓存发新请求,随后发射队列里凡是带内存操作的 µop 都推不动,依赖它们的算术指令也被拖住,乱序窗口很快被填满——整个核心进入"看起来在跑、实际在等"的状态。它和 cache miss 本身的停顿不同:miss 停顿只拖住等数据的那几条指令,MSHR 耗尽拖住的是所有新的内存操作,包括那些本来会命中的。
这条传导链解释了为什么 MSHR 耗尽在性能计数器上很容易被误读。从症状上看,IPC 骤降、ROB 里堆满退休不了的指令,像极了一般性的访存瓶颈;但真正的判据在专门的事件上——Intel 的 L1D_PEND_MISS.FB_FULL(MSHR 满导致无法登记新缺失的周期数)就是直接证据,AMD 也有类似事件。另一个旁证是 CYCLE_ACTIVITY.STALLS_L1D_MISS 高位叠加内存带宽利用率不高:如果停顿很严重但 DRAM 带宽没跑满,说明瓶颈不在内存那边,而在核心这边"登记簿太小"。
工程上缓解 MSHR 耗尽的方向都很直白:降低缺失率(改善数据局部性、重排数据结构让 hot 字段挤进同一行、软件预取把缺失摊平)、减少缺失的突发性(把大 stride 扫描拆块,避免一瞬间打出几十笔缺失),以及利用乱序窗口让缺失之间尽量重叠——load-store 队列与访存消歧 里讲的内存乱序,本质上也是在帮 MSHR 争取"更早把独立缺失发出去"的时间。
五、对性能分析的启示
看懂 MSHR 之后,几个常见现象就有了统一的解释。其一,为什么"单核内存带宽"永远跑不满标称带宽——那本来就是 MSHR 项数除以延迟算出来的上限,不是内存的锅。其二,为什么预取有时候反而降速——激进预取把 MSHR 占满,demand miss 登记不进来,等于预取把关键路径上的请求挤出了登记簿。其三,为什么指针追逐类负载对频率几乎不敏感——瓶颈全程卡在 MSHR 在途延迟上,核心快一点慢一点无所谓。下次用 perf 分析访存密集型程序时,把 L1D_PEND_MISS.FB_FULL 加进事件列表,很多"莫名的停顿"会立刻现形。
这一篇在知识体系里的位置
本篇是微架构长尾层,向上承接 数据冒险与 L1 缺失(一次 miss 的代价从哪来),向旁连接 硬件预取器(预取请求同样吃 MSHR 项)、load-store 队列与访存消歧(缺失是怎么被尽早发出去的)与 IPC 瓶颈拆解(MSHR 停顿在宏观指标上的投影)。
总结
MSHR 未决缺失处理把"缓存 miss 就停机"变成了"记账并发等待":每一笔缺失登记一行、同块缺失合并成一次访存、多笔缺失延迟互相重叠;而 MSHR 项数既是单核内存并发度的天花板(Little's Law),也是耗尽时拖垮整个核心的结构性停顿源——认它的办法是盯 FB_FULL 类计数器,治它的办法是降缺失率、摊平缺失突发性。