DRAM 刷新:tREFI 温度依赖、per-bank 刷新与 DDR5 RFM 的来龙去脉
在 dram-controller-frfcfs-scheduling 里,我们把调度器讲成了"请求重排的艺术",但有意略过了一类特殊的命令——它们不来自任何 CPU 请求,却会周期性地插队到所有访存流量前面:DRAM 刷新(refresh)命令。DRAM 的存储单元是一个个小电容,电容会漏电,数据放着不管几十毫秒就消失,所以内存控制器必须不停地"给整片内存充电续命"。这个看似后台的动作,在高带宽负载下能吃掉百分之几到百分之十几的有效带宽,到了 DDR5 时代还背上了防御 RowHammer 攻击的新职责。本文把 DRAM 刷新的开销结构、温度依赖和 DDR5 的 refresh management(RFM)机制讲清楚。
本文要回答的问题
- DRAM 为什么必须刷新,不刷新数据多久会丢?
- tREFI(刷新间隔)为什么随温度变化,高温代价有多大?
- all-bank 刷新和 per-bank 刷新差在哪,各自什么场景占优?
- 刷新对带宽和延迟的实际开销怎么估算?
- DDR5 的 RFM 是什么,它和 RowHammer 防御什么关系?
一、DRAM 为什么必须刷新:电容在漏电
DRAM 的一个存储单元(cell)就是一个晶体管加一个电容:电容有电是 1,没电是 0。问题在于这个电容极小(飞法量级),晶体管关断后仍有漏电流,电荷会以毫秒级的速度流失。JEDEC 标准给 DRAM 定的保持时间底线是 64 毫秒——也就是说,每一行数据至少每 64 ms 要被"读出来再写回去"一次,这就是刷新。
一颗现代 DRAM 颗粒有数万行(以 16 Gb 颗粒为例,每 bank 约 6 万多行,共 16 个 bank),刷新不是一行行单独做的,而是控制器发一条 REFRESH 命令,颗粒内部按内部行计数器批量刷新若干行。DDR4 的典型约定是:8192 条刷新命令均匀铺满 64 ms,即每 7.8 µs 发一条——这个 7.8 µs 就是大名鼎鼎的 tREFI(refresh interval,刷新间隔)。每次刷新执行期间,被刷新的 bank 不能服务任何读写,这段不可服务的时间叫 tRFC(refresh cycle time),16 Gb 颗粒上约 350 ns。
粗算一下开销:每 7800 ns 里有约 350 ns 被刷新占用,相当于常驻损失 4%~5% 的带宽——这还没算刷新命令打断读写分组、挤占调度器机会带来的间接损失。在内存带宽敏感型负载上,刷新是"看不见但确实在交税"的一项固定成本。
这张图抓住两点:刷新命令的"节拍器"是 tREFI 计时器,和 CPU 侧有没有请求完全无关;每条刷新命令的代价是 tRFC 期间 bank 关门。两者相乘就是刷新的带宽税基。
二、tREFI 的温度依赖:越热刷得越勤
漏电流是温度的强函数——温度每升高约 10 度,漏电流大致翻倍。64 ms 的保持时间标定是在 85 摄氏度以下给的;一旦颗粒温度超过 85 度(JEDEC 称之为 extended temperature range),保持时间直接减半到 32 ms,tREFI 从 7.8 µs 减半到 3.9 µs,刷新频率翻倍,带宽税也从 4%~5% 涨到 8%~10%。
| 温度区间 | tREFI | 64 ms 内刷新命令数 | 大致带宽开销 |
|---|---|---|---|
| 0~85 度(正常档) | 7.8 µs | 8192 | ~4%~5% |
| 85~95 度(扩展档,2x mode) | 3.9 µs | 16384 | ~8%~10% |
对服务器的实际含义有三层。其一,机房进风温度、散热器贴合、内存条附近有没有被 GPU 热风烤到,都会真实影响可用内存带宽——双风扇挂掉一台,机器没宕,但内存带宽悄悄掉了几个点,这种"软降级"在性能排查时很容易被漏掉。其二,现代 DRAM 有片上温度传感器,颗粒自己知道当前该用哪档 tREFI,通过模式寄存器(MR)告诉控制器;Linux 下部分平台能经由 EDAC 或带外管理(BMC)读到内存条温度,ipmitool sdr 里常见的 DIMM_Temp 就是它。其三,工业界还做过更激进的 保留时间分档刷新:实测每行的真实保持时间(大量行其实能保持数秒),只对真正弱的行勤刷,可以把刷新开销砍掉一个量级——论文里很漂亮,但因依赖逐颗粒特性标定,商用平台没有落地,只作为理解"64 ms 是极其保守的全员最坏情况"的背景知识。
三、all-bank 与 per-bank:刷新的粒度之争
早期 DRAM 只有 all-bank refresh(REFab):一条命令刷新所有 bank,期间整个 rank 完全不可服务,tRFC 全额暴露成延迟毛刺。从 DDR3 后期到 DDR4/LPDDR4 普及了 per-bank refresh(REFpb):一条命令只刷一个 bank,其余 bank 照常服务,调度器可以把其他 bank 的读写安排进刷新窗口。
取舍很清楚:REFab 简单粗暴,但每 7.8 µs 制造一次全 rank 停摆,P99 延迟难看;REFpb 把停摆摊薄成单 bank 的小窗口,配合调度器几乎可以做到"刷新对读流量隐形",代价是完成同样一轮全行刷新需要 8 倍条数的命令,命令总线占用和控制器复杂度上升,且 tRFCpb 换算到全行周期后总占用时间反而略长于 REFab。工程结论:追求延迟平滑用 per-bank,追求极限带宽且对毛刺不敏感的场景(如某些 HPC 批量段)all-bank 略省。DDR4 控制器普遍支持两种模式并可动态切换,很多商用平台还支持 fine granularity refresh(1x/2x/4x 模式,用更短的 tREFI 换更短的 tRFC,进一步摊薄毛刺)。
四、DDR5 RFM:刷新从"维护"升级成"防御"
RowHammer 是让刷新机制走上前台的直接原因:反复快速激活某一行(锤击行),其电气干扰会让相邻行的电容加速漏电,在两次刷新之间就发生比特翻转。传统刷新是"均匀撒网",每行每 64 ms 只被照顾一次,对"某行的邻居正在被疯狂锤击"这种局部攻击毫无感知——64 ms 足够攻击者锤几百万次,绰绰有余地翻转目标比特。
DDR5 引入的 refresh management(RFM) 把思路反过来:颗粒自己统计"哪一行被激活得过分频繁",当某行的激活次数超过阈值时,颗粒通过 RAAMT/RFM 机制向控制器索要额外的刷新机会——控制器随后发 RFM 命令,颗粒借机对受害邻居行做定向补救刷新。这本质上是把 DDR4 时代厂商各自魔改的 TRR(Target Row Refresh)标准化了:激活计数在颗粒内部、救济刷新的时机由双方协商,不再需要控制器猜。
对性能的影响也随之而来:RFM 触发的补救刷新是额外的 bank 占用,在 RowHammer 攻击流量(或不幸长得像这样模式的真实负载,比如某些极端的小步长跨行扫描)下,RFM 会显著抬高有效 tRFC 总量,表现为"带宽没跑满但延迟暴涨、颗粒温度正常"。在较新的 DDR5 服务器上排查这类现象时,值得把"是否触发了大量 RFM/额外刷新"列入怀疑清单——它甚至可能是有人在对你的机器做 RowHammer 尝试的信号。
五、对性能工程师的实践要点
- 估算刷新税:DDR4 16 Gb 颗粒基线约 5%,高温档约 10%;DDR5 因 tRFC 相对时钟变长,占比反而略升,建模内存带宽上限时别忘了扣。
- 高温排查:内存带宽莫名低几个百分点,先查 DIMM 温度是否越过 85 度触发 2x tREFI 档。
- 延迟毛刺:P99 访存延迟出现以微秒为周期的规律性尖峰,可以和 tREFI 对齐想一下,再看平台是否开了 per-bank refresh 或 fine granularity 模式。
- DDR5 新现象:带宽不高但延迟异常、且访问模式集中在少量行上时,考虑 RFM 被触发的可能。
这一篇在知识体系里的位置
本篇是微架构篇 DRAM 系列的第二块拼图,衔接关系:
- 上游与平行:dram-controller-frfcfs-scheduling 讲清了控制器如何重排 CPU 侧请求,本篇补上的是"不来自 CPU 的那部分命令流"——刷新是调度器必须绕开的周期性硬约束,RFM 则是 RowHammer 时代新增的动态约束。
- 背景:bank、行缓冲、tRCD/tRP 等术语的铺垫同样在该篇;微架构全景见 cpu-microarch-overview。
总结
DRAM 刷新是给漏电电容续命的周期性维护:tREFI 7.8 µs(高温档减半为 3.9 µs)的节拍器驱动下,每条刷新命令让目标 bank 停业 tRFC 约 350 ns,常驻吃掉 5% 上下的带宽;per-bank 刷新用更多命令数换延迟平滑,all-bank 刷新反之;到了 DDR5,refresh management(RFM)让颗粒按激活计数主动索要定向补救刷新,把 RowHammer 防御标准化——刷新的角色从"后台维护"升级为"带宽税、延迟毛刺与安全防御"的三位一体。