预取评估:accuracy、coverage、timeliness 三指标怎么定义、怎么测、怎么指导调参
更新时间:2026-10-02。硬件预取器:stride 与 stream 那篇讲了预取器怎么工作:盯住访存流、识别模式、提前把数据拉进缓存。但「预取器在工作」和「预取器在帮忙」是两回事——预取太保守等于没开,太激进会把有用数据挤出缓存还白烧带宽。预取评估就是回答「它到底帮了多少忙」的方法论:用 accuracy(准确度)、coverage(覆盖率)、timeliness(及时性)三个指标把「帮忙」拆成可测量的量,再按指标暴露的症状决定怎么调参。
本文要回答的问题
- accuracy、coverage、timeliness 各自怎么定义,为什么必须三个一起看?
- 为什么说「关掉预取器再跑一遍」是覆盖率测量的唯一可靠基准?
- 三个指标之间的制衡关系是什么,调参时先动哪个旋钮?
- 拿到实测数据后,不同症状组合分别对应什么处置?
一、三个指标的定义
设负载全程的缓存缺失事件可以分成三类:本来要缺失、被预取成功救回的(useful prefetch);本来要缺失、预取没管的(unprefetched miss);预取发了但数据从未被用到的(useless prefetch)。
accuracy(准确度)= useful /(useful + useless),即发出的预取里有多大比例真被用上了。它量的是「预取器制造了多少垃圾」。accuracy 低的直接代价有三:白占内存带宽、挤占 MSHR 未完成缺失寄存器 的表项、把有用行顶出缓存造成污染。给一个直观数字:一个激进的 streamer 预取器每拍发 4 条预取,accuracy 若只有 30%,意味着七成的预取流量是纯粹的浪费——在 DRAM 带宽利用率本就在 70% 以上的多路服务器上,这部分浪费直接转化成所有核的访存延迟上涨,是典型的「帮倒忙」区间。
coverage(覆盖率)= useful /(useful + unprefetched),即「如果没有预取器本会发生的缺失」里有多大比例被救回来了。注意分母不是「开启预取后观察到的缺失数」——预取把缺失消掉了,分母必须用「关掉预取器跑一遍」的基线缺失数来还原。这是测量里最容易踩的坑。
timeliness(及时性) 描述预取到达的时机,分三档:及时(数据在 load 执行前已进缓存,缺失完全消除);迟到(load 先发起缺失,预取随后与它在 MSHR 里合并,只省掉部分延迟);无用晚到(数据被用到之后才到,等于 useless)。很多性能模型把「迟到但合并」单独计为一类,因为它仍然省了 DRAM 往返的大头。用一次典型的 L2 miss 算笔账:完整缺失要走 L3 乃至 DRAM,延迟 40-200 纳秒;而 load 发出后第 10 纳秒预取请求到达、两请求在 MSHR 合并,load 等的是剩余传输而不是完整往返,实际省下的往往是六七成延迟。所以「迟到」不是失败,是打折扣的成功;只有「完全没被预取」和「预取了但没用上」才是真问题。
direction: down
base: "关闭预取跑一遍\n得到基线缺失数 M0"
run: "开启预取跑一遍"
issued: "预取发出集合"
useful: "useful\n被实际用到"
useless: "useless\n从未被用到"
left: "残留缺失 M1\n未被预取救回"
acc: "accuracy = useful / 发出总数"
cov: "coverage = useful / M0"
说明1: "低:垃圾预取多,带宽和缓存被污染" { shape: text }
说明2: "低:救回的缺失少,预取器太保守或认不出模式" { shape: text }
base -> cov: "M0 = useful + 残留"
run -> issued
run -> left
issued -> useful
issued -> useless
useful -> acc
useful -> cov
acc -- 说明1
cov -- 说明2
base.style: { fill: "#EAF2FE"; stroke: "#3B6FD4" }
run.style: { fill: "#EAF2FE"; stroke: "#3B6FD4" }
issued.style: { fill: "#EAF2FE"; stroke: "#3B6FD4" }
useful.style: { fill: "#E9F8F0"; stroke: "#2E9E6B" }
useless.style: { fill: "#FDECEC"; stroke: "#D9534F" }
left.style: { fill: "#FEF3E2"; stroke: "#E08A1E" }
acc.style: { fill: "#F1ECFD"; stroke: "#7A5BD4" }
cov.style: { fill: "#F1ECFD"; stroke: "#7A5BD4" }上图把三个量的来源画清楚了:accuracy 只看「发出去的预取」的内部结构,coverage 必须有「关预取基线」做分母,两条测量路径缺一不可。
二、三指标的制衡:为什么不能只优化一个
三指标构成一个拔河。把预取器的触发阈值调松、预取距离调远、模式匹配调宽,coverage 几乎必然上升——更多缺失被提前兜住;但同时 accuracy 几乎必然下降——误报的预取也跟着多。反过来收紧则 coverage 掉、accuracy 升。timeliness 与预取距离强相关:距离太近,数据还没取回来 load 就到了,全是「迟到合并」;距离太远,数据早早占着缓存行,可能还没被用就被替换掉,白取。
所以预取评估的读法不是「把三个数都刷高」,而是先定约束再找最优。常见的优先级是:带宽敏感场景(多核共享内存控制器)先保 accuracy,因为 useless prefetch 烧的是别人的带宽;延迟敏感单线程场景先保 coverage,accuracy 掉到 50% 往往仍划算——只要省下的延迟大于浪费带宽引入的排队延迟,这笔交易就是赚的;timeliness 用「迟到合并占 useful 的比例」来监控,这个比例高说明预取距离该拉大。还有一个隐藏约束是缓存污染:早到的预取行要在缓存里排队等使用,预取距离每翻一倍,占坑时间就拉长一倍,coverage 涨到一定程度后会被「预取行在用到前被替换掉」反噬,accuracy 与 coverage 同时掉头向下——这是距离调过头的典型信号。
三、实测路径与调参决策
实际测量用两条路子。硬件性能计数器路子:用 perf 一类工具(总览见 perf 性能分析工具)分别采集「开预取」和「关预取」(多数服务器 BIOS 或 MSR 可关 L2 streamer)两轮的 LLC miss 数,差值即 useful 的下界估计;useless 没有直接计数器,可用「关预取时的内存带宽 vs 开预取时的带宽差」估算预取流量,再除以 64 字节。模拟器路子:gem5 一类模拟器能精确按地址追踪每个预取块的命运,三指标都能拿到真值,适合做预取器设计研究,代价是慢。还有一个常被忽略的第三路子:软件 A/B。同一份代码,编译时在关键循环里加或不加软件预取指令(x86 上是 prefetcht0 一类),跑两轮对比 IPC 与 LLC miss——这测的不是硬件预取器,而是「这段代码的预取机会还剩多少」,如果软件预取能再榨出 15% 的 IPC,说明硬件预取器的 coverage 在这个循环上还有大坑。
拿到数据后的决策表:
| 症状 | 判读 | 处置 |
|---|---|---|
| coverage 低、accuracy 高 | 预取器太保守,或负载模式认不出 | 放宽触发阈值、加大距离;不行就考虑换预取策略 |
| coverage 高、accuracy 低 | 救得勤但垃圾也多 | 带宽富余可不动;带宽紧张则收紧阈值 |
| coverage 低、accuracy 低 | 预取器在这个负载上完全失配 | 直接关掉更划算,或换软件预取指令 |
| 迟到合并占 useful 比例高 | timeliness 差,距离太近 | 逐级加大预取距离,盯 IPC 拐点 |
| 开关预取 IPC 无差但带宽差大 | 全是 useless 流量 | 关预取器 |
调参纪律只有一条:每次只动一个旋钮,动完必须重跑「开/关预取」双路径,否则 coverage 的分母漂移,前后两次测量不可比。还要记住测量的负载敏感性:同一个预取器配置,在顺序扫数组的微基准上 coverage 能到 95%,换到指针追逐的图遍历上可能直接归零——所以结论永远要带负载名,「这个预取器好」从来不是一个可移植的陈述。
这一篇在知识体系里的位置
本篇是预取线的评估方法篇。上游机制篇是 硬件预取器:stride 与 stream;预取失败后的缺失路径细节见 MSHR 未完成缺失寄存器 与 数据冒险之 L1 缺失;带宽侧的对照看 内存通道交织;测量工具见 perf 性能分析工具。整条微架构链的地图在 CPU 微架构总览。
总结
预取评估用 accuracy 量垃圾、coverage 量救回的缺失、timeliness 量救得及不及时,三者互相制衡不可单刷;coverage 的分母必须用「关预取基线」还原,实测走 perf 双路径或模拟器精确追踪,调参按症状表一次只动一个旋钮——预取器不是开不开的问题,而是被这三个指标持续校准的问题。