访存级并行 MLP:并发 miss 数如何决定访存吞吐、MSHR 上限与测量方法
更新时间:2026-10-02。讲乱序执行的文章(如 CPU 乱序执行)反复强调一句话:乱序核的全部努力,就是不让一次 cache miss 卡住后面所有指令。但「不卡住」到底能做到什么程度?答案藏在一个专门的概念里——访存级并行(Memory-Level Parallelism,MLP),即同一时刻有多少次内存访问(cache miss)正在并行推进。它是连接「微架构乱序能力」和「内存系统吞吐」的桥梁: miss 延迟 100ns 不可怕,可怕的是同一时间只有一个 miss 在等。这一篇把 MLP 讲透:它是什么、由什么硬件决定上限、怎么换算成吞吐、以及怎么实测一颗核的真实 MLP。MSHR 的硬件细节见 MSHR 未命中状态寄存器,DRAM 侧的并行见 DRAM bank 并行与 rank。
本文要回答的问题
- 访存级并行 MLP 的准确定义是什么,它和指令级并行(ILP)有什么关系?
- 为什么「平均在飞 miss 数」直接决定了每核能拿到的内存带宽?
- MLP 的硬件上限由哪些结构决定,MSHR 容量为什么是硬天花板?
- 软件层面什么样的代码模式 MLP 高、什么样的模式 MLP 趋近于 1?
- 用 perf 计数器和指针追逐实验,怎么实测一颗核的 MLP?
一、MLP 是什么:把「等内存」变成「同时等多份」
定义一句话:访存级并行是某一时刻处理器正在并行处理的未完成内存请求(通常指最后一级 cache miss,即真正要下 DRAM 的请求)的平均数量。MLP=1 意味着串行:这次 miss 数据回来了,才发出下一次 miss;MLP=10 意味着平均有 10 个 miss 同时在飞。
为什么这个数值钱?用排队论的 Little 定律(L = λW)一步换算:在飞请求数 = 请求到达率 × 单请求延迟。反过来,吞吐(带宽)= MLP × cacheline 大小 ÷ miss 延迟。代入真实数字感受一下:一次 DRAM 访问延迟约 80-100ns,一条 cacheline 64B。如果 MLP=1,单核能拿到的带宽上限是 64B / 100ns ≈ 0.64GB/s——连内存条标称带宽的零头都不到。要跑到 6.4GB/s,MLP 必须达到 10。这就是「延迟高」和「带宽低」不是一回事的根本原因:高延迟可以用高并行度来掩盖。
MLP 和指令级并行(ILP)的关系值得说清。ILP 是指令窗口里能并行执行的指令数,由数据依赖决定;MLP 是这些指令里能同时发出的 miss 数。高 ILP 是高 MLP 的必要条件(窗口里得先同时躺着多条互不依赖的 load),但不充分——还乱序窗口够大、miss 处理资源够多。一个窗口 512 条指令的核,如果 miss 跟踪表只有 4 项,MLP 照样被钉死在 4。
direction: down
win: "乱序指令窗口\n多条独立 load 同时在窗"
miss: "L1 miss 发生"
mshr: "MSHR 分配表项\n并发跟踪多个 miss"
dram: "下级 cache 与 DRAM\n多个请求同时在飞"
fill: "数据回填\n窗口内指令唤醒"
note-mshr: "MLP 的硬上限\n表项满则新 miss 停发" { shape: text }
note-dram: "MLP = 平均在飞 miss 数\n吞吐 = MLP x 行大小 / 延迟" { shape: text }
win -> miss
miss -> mshr
mshr -> dram
dram -> fill
fill -> win
mshr -- note-mshr
dram -- note-dram
win.style: { fill: "#EAF2FE"; stroke: "#3B6FD4" }
miss.style: { fill: "#FDECEC"; stroke: "#D9534F" }
mshr.style: { fill: "#FEF3E2"; stroke: "#E08A1E" }
fill.style: { fill: "#E9F8F0"; stroke: "#2E9E6B" }上图是 MLP 的产生链路:乱序窗口提供「独立的 load」,MSHR 把它们的 miss 并发登记在案,DRAM 侧真正并行服务。链路里任何一环收窄,MLP 就在那一环封顶。
二、MLP 的天花板:四级结构依次卡脖子
一颗核能跑多高的 MLP,由四级结构从近到远依次限制,取最小值。
第一级是乱序窗口。ROB 和 load buffer 要多大,才能让足够多的独立 load 同时驻留?ROB 重排序缓冲 那篇讲过,窗口决定了核「往前看多远」。一次 miss 延迟约 200-300 个周期,若窗口只有 100 条指令,遇到一条 load miss 后很快就填满停顿,后续独立 load 根本进不了窗口,MLP 无从谈起。现代大核 ROB 在 300-500 条量级,很大程度上就是为 MLP 服务的。
第二级是 MSHR(Miss Status Holding Register)。每个 L1 miss 要占一项 MSHR 来跟踪,表项满了,新 miss 直接停发。Intel 大核 L1 的 MSHR 公开数据在 10-16 项(近年代号有 FB——fill buffer——的说法,数量 12-16 不等),这基本就是单核 L1 层面 MLP 的天花板。注意 L2、LLC 也各有自己的 miss 跟踪结构,整条链取瓶颈。
第三级是 cache 之间的 outstanding 事务队列。L1 到 L2、L2 到 LLC 的接口能同时挂多少未完成请求,有限额。
第四级才是 DRAM 侧:bank 数、行缓冲命中率决定内存系统同时消化多少请求(见 DRAM bank 并行与 rank)。单核场景下这一级通常不是瓶颈,多核同时压带宽时才会顶到。
| 层级 | 结构 | 典型规模 | 对 MLP 的作用 |
|---|---|---|---|
| 窗口 | ROB / load buffer | 300-500 / 100-200 | 让独立 load 同时驻留 |
| L1 miss 跟踪 | MSHR / fill buffer | 10-16 项 | 单核 L1 MLP 硬上限 |
| 级间接口 | L1-L2 / L2-LLC 队列 | 数十项 | 跨级并发 |
| DRAM | bank 与 rank | 16-32 bank/rank | 服务端并行能力 |
三、代码模式决定 MLP:并行世界与链式地狱
硬件给了上限,软件决定了实际用到多少。两种极端模式对比最说明问题。
高 MLP 模式是「互相独立的批量访问」:遍历一个指针数组发起 16 个无依赖的 load,或对数组做 sum += a[i] 的流式累加——每次 load 的地址不依赖前一次 load 的结果,乱序核可以一口气把 MSHR 打满,MLP 冲到 10 以上。硬件预取器(见 硬件预取器 stride 与 stream)也在帮你造 MLP:它提前把后续 cacheline 拉进流水线,等于替你排队。
低 MLP 的极端是链式依赖:指针追逐 p = p->next,下一次 load 的地址要等这一次 load 的数据回来才能算出来。无论窗口多大、MSHR 多少,任何时刻至多一个 miss 在飞,MLP 恒等于 1。哈希表查找、链表遍历、树跳转都是这类。100ns 延迟直接裸露,每次访问实打实等 100ns,等效带宽只有零点几 GB/s——这就是为什么同样的内存系统,流式负载飞快而指针密集型负载慢两个数量级。
中间地带是「局部依赖但可切分」:比如归并两个有序数组,单条链依赖不强,可以手动展开成两路交替推进,人为把 MLP 从 1 抬到 2-4。「软件流水线化 + 多路并行」是提升 MLP 的通用手法,编译器的循环展开也在做同样的事。
四、实测 MLP:计数器算法与指针追逐实验
第一种方法用硬件计数器反推。Intel 核上有两个 PMC:l1d_pend_miss.pending(每周期处于未决状态的 L1 miss 数累计)和 l1d_pend_miss.pending_cycles(至少有一个 miss 未决的周期数)。两者相除,就得到「有 miss 期间的平均 MLP」:
perf stat -e l1d_pend_miss.pending,l1d_pend_miss.pending_cycles ./workload算出来 8.5,说明 miss 活跃期间平均 8.5 个在飞;如果只有 1.2,要么代码是链式依赖,要么 MSHR 没打满。配合 cycle_activity.stalls_l1d_miss 这类停顿计数,还能估 miss 停顿占整体的比例,判断 MLP 不足是不是真的瓶颈。AMD 有对应的 LS miss 计数器,名字不同思路相同。
第二种方法是控制变量实验:写一个指针追逐 benchmark,把环形链拆成 N 条独立链交错追逐。N=1 时纯串行;逐步加 N,测量总吞吐随 N 的曲线。曲线在 N≈MSHR 容量处出现明显拐点(再加重叠不出更多并行),拐点位置直接读出硬件 MLP 上限。这个实验还能顺带测延迟:单链每秒迭代数倒数就是完整 miss 延迟。很多逆向微架构参数的文章就是这么干出来的。
上图是实验的预期曲线形状:先线性爬升,再拐点,再平台。实测时平台不会绝对水平——多链之间会抢 bank、抢 MSHR,曲线会慢慢回落,取最高点即可。
五、把 MLP 用起来:优化的三个落点
理解了 MLP,优化方向就具体了。落点一:消除假依赖,把链式访问改造成独立批量访问——哈希表批量探测先算完所有 key 的桶地址再统一访问,树遍历改层序展开。落点二:给硬件预取器创造规律模式,预取器每拉一行等于替 MSHR 排一个队(见 硬件预取器 stride 与 stream)。落点三:软件预取 __builtin_prefetch 把依赖链上的下一环提前发出,本质是用软件把 MLP 从 1 抬到 2-3。判断值不值得做,先用第四节的方法量一下当前 MLP:已经 10 以上,瓶颈不在访存并行度,别再瞎 prefetch。
这一篇在知识体系里的位置
本篇是微架构模块里内存并行线的基础概念篇。上游框架见 CPU 乱序执行 与 ROB 重排序缓冲——窗口是 MLP 的前提;同线硬件细节见 MSHR 未命中状态寄存器 与 DRAM bank 并行与 rank;相关的并行与调度话题还有 内存通道交织、乱序窗口边界 与 IPC 瓶颈分析;全图见 CPU 微架构总览。
总结
访存级并行(MLP)是同时在飞的 cache miss 的平均数量,按 Little 定律「吞吐 = MLP × 行大小 ÷ 延迟」,它由乱序窗口、MSHR 容量、级间队列和 DRAM bank 四级结构从近到远依次封顶(单核硬上限通常就是 10-16 项 MSHR),软件上独立批量访问能把它打满、链式指针追逐把它钉死在 1,实测用 l1d_pend_miss 两个计数器相除或多链指针追逐拐点法——理解了 MLP,就理解了为什么高延迟内存不等于低带宽,以及为什么链表永远跑不过数组。