DRAM tCCD/tWR 时序:列间间隔与写恢复时间对带宽延迟的量化影响
承 DRAM 子系统组织 对 channel/rank/bank/row/column 层级的拆解,以及 DRAM 行缓冲命中策略 对 open-page/close-page 策略的讨论。那两篇讲了 DRAM 的「结构」与「策略」,这一篇讲「时间」:DRAM tCCD/tWR 时序这些印在内存条 SPD 里的参数,不是超频玩家的玄学数字,而是每一次列访问、每一次写恢复都要付的物理成本——它们直接决定理论带宽与实际带宽之间那条缝有多宽。
本文要回答的问题
- tCCD、tWR、tRC、tRAS、tRP 这些时序参数各自约束什么物理过程?
- 为什么标称 3200 MT/s 的内存条,流式读实测往往只有 70-85% 的带宽?
- tCCD 为什么是「带宽参数」而 tRC 是「延迟参数」?
- 写密集负载里 tWR 怎么把写延迟放大成行关闭延迟?
- 怀疑时序参数在拖后腿时,用什么工具和方法验证?
一、DRAM 命令不是想发就发的
内存控制器(Memory Controller,MC)向 DRAM 颗粒发命令——ACTIVATE(激活一行)、READ/WRITE(列访问)、PRECHARGE(预充关闭行)——但 DRAM 颗粒内部的电容阵列是位模拟电路:充电、放大、恢复都需要真实的时间。JEDEC(固态技术协会,内存标准的制定者)把每一步的最小等待时间标准化成一组时序参数,MC 必须严格遵守,违反就是数据损坏。
关键参数按「约束对象」分三组:
| 参数 | 中文名 | 约束什么 | DDR4-3200 典型值 |
|---|---|---|---|
| tCCD_L / tCCD_S | 列到列命令间隔(同/异 bank group) | 两次 READ/WRITE 命令的最小间隔 | 8 / 4 nck |
| tWR | 写恢复时间 | WRITE 数据落位到允许 PRECHARGE 的间隔 | 24 nck |
| tRC | 行周期时间 | 同一 bank 两次 ACTIVATE 的最小间隔 | ~46 nck |
| tRAS | 行激活时间 | ACTIVATE 到允许 PRECHARGE 的间隔 | ~32 nck |
| tRP | 预充时间 | PRECHARGE 到下一次 ACTIVATE 的间隔 | ~14 nck |
| tRCD | RAS 到 CAS 延迟 | ACTIVATE 到 READ/WRITE 的间隔 | ~16 nck |
| tFAW | 四激活窗口 | 任意窗口内最多 4 次 ACTIVATE | ~21-30 nck |
| tWTR | 写到读切换 | WRITE 后到同 rank READ 的间隔 | ~12 nck |
单位 nck 是 DRAM 命令时钟周期:DDR4-3200 的命令时钟是 1600 MHz,1 nck = 0.625 ns。所以 tCCD_S = 4 nck 只有 2.5 ns,tRC ≈ 28.75 ns——数量级直觉很重要:这些等待不是微秒级的「大事」,而是每 64 字节访问都可能撞上几次的纳秒级小费,聚沙成塔吃掉带宽。

这张时序图是同一次「开两行、读两列」过程里各参数出场的顺序:tRCD 管「开了行多久能读」,tCCD 管「两次读之间隔多久」,tRAS/tRP/tRC 管「关了行多久能开下一行」。一次行未命中(row miss)访问的总延迟大致是 tRCD + CL + tRP(预充可提前安排的话)再叠加排队,一次纯行命中则只要 CL——这就是 DRAM 行缓冲命中策略 里 open-page 策略省下的就是前面那一串。
二、tCCD:带宽上限的直接制定者
tCCD(Column-to-Column Delay)是所有时序参数里唯一一个直接除出带宽上限的。原因很直白:DRAM 数据总线宽度固定(每通道 64 bit = 8 字节),每个时钟沿传一次数据(DDR = 双倍速率),那么两次列访问间隔 tCCD 个时钟,就决定了总线被占用的最小颗粒度。
DDR4 的列访问一次传 8 拍(burst length 8,64 字节),需要 4 个时钟周期(DDR 双沿传输 8 次)。所以理论极限是 tCCD = 4 nck 时总线 100% 利用。DDR4 把 bank 分成 4 个 bank group,同 group 内 tCCD_L = 8 nck,跨 group 才 tCCD_S = 4 nck——也就是说,只有连续访问落在不同 bank group 时才能打满总线;连续两次访问同一 group,总线一半时间在空转。
带宽折算公式:
单通道峰值 = 8 B × 命令时钟 × 2 (DDR) = 8 × 1.6 GHz × 2 = 25.6 GB/s
同 group 连续访问上限 = 25.6 × (4 / tCCD_L) = 25.6 × 50% = 12.8 GB/s这就是为什么 DRAM bank 并行与 rank 里反复强调「交织」:MC 把地址按细粒度散到不同 bank group / bank / rank,正是为了让连续命令吃 tCCD_S 而不是 tCCD_L。

图里的对比就是实测带宽 70-85% 的第一层原因:真实的访问流不可能完美交织,bank group 冲突、bank 冲突、tFAW 窗口限制都会插入空转。第二层原因是刷新(见 DRAM 刷新管理,每 64 ms 全片刷新一遍,吃掉约 3-8% 时间),第三层是读写切换的 tWTR/tRTW 总线转向开销——总线是共享资源,读转写、写转读都要留出驱动器换手的死区,混合负载下这一项能再吃 5-10%。三层损耗叠完,85% 达成率已经是「调度得相当不错」的水平,而不是内存条虚标。
三、tWR 与写路径:写完不能马上关行
tWR(Write Recovery Time)是写操作独有的坑。读操作把数据放上传感放大器就完事,写操作却要把真实电荷写进电容单元——这个「落笔」过程在最后一个数据到达后还需要 tWR 时间才能稳定,期间该行不能被 PRECHARGE,否则数据就写丢了。
DDR4-3200 的 tWR 典型 24 nck = 15 ns。看起不大,但它挂在行关闭路径上:一次「写 + 换行」的完整代价是 写数据 4 nck + tWR 24 nck + tRP 14 nck + tRCD 16 nck ≈ 58 nck ≈ 36 ns,其中 tWR 占了四成。对比「读 + 换行」:4 + tRAS 相关 + tRP + tRCD,读没有恢复时间,可以用 tRAS 剩余时间自然覆盖。
写密集负载(比如日志顺序落盘前的 page cache 回写、科学计算的 stencil 写回)里,如果访问局部性差、频繁换行,tWR 就会成为每行必付的税。MC 的应对是把写攒起来批量做——这就是 DRAM 写排水策略 的由来:写缓冲攒到高水位后一次性 drain,让一串写共享行命中、摊薄 tWR。

这张图解释了一个常见反直觉:在「频繁换行」的负载下,写比读贵 70%(58 vs 34 nck),而缓存层级里直觉上写总是被吸收在 cache 里、不该更慢。确实,CPU 侧的写被 cache 吸收了;但一旦到了 DRAM 侧(write-back 流量、流式写绕过 cache),tWR 就实打实地按次收费。
四、tRC/tRAS/tRP:延迟参数与 bank 数预算
如果说 tCCD 管带宽,tRC 家族管的就是单个 bank 的吞吐上限,进而决定「需要多少 bank 才能藏住延迟」。
tRC(Row Cycle)≈ 46 nck ≈ 29 ns:同一 bank 两次 ACTIVATE 的最小间隔。一个 bank 每秒最多做 1/29ns ≈ 3450 万次行切换。DDR4 每 bank group 4 个 bank × 4 group = 16 bank,理论行切换能力 5.5 亿次/秒——但这是假设 16 个 bank 完美轮流。真实的随机访问流里 bank 冲突(两个请求打到同一 bank)按生日悖论规律快速增长,bank 数需求远超直觉,这又回到 DRAM bank 并行与 rank 的核心结论:并行度是 DRAM 的第一生产力。
tFAW(Four Activate Window)是另一个容易被忽略的带宽税:任意 tFAW 窗口(约 21-30 nck)内最多 4 次 ACTIVATE。突发行切换场景(大量 miss 冲刷行缓冲)下,即使 16 个 bank 全闲着,tFAW 也会强制 ACTIVATE 排队——这是「带宽没满、bank 没冲突、但延迟还是涨」的隐藏原因之一。
延迟的端到端账:一次缓存行 miss 打到 DRAM,裸延迟 ≈ tRCD(10 ns)+ CL(10 ns)= 20 ns 的行命中路径,或 +tRP(8.75 ns)的行未命中路径;再乘上 MC 排队、跨 die 传输、NUMA 远端(见 NUMA 本地远端延迟,远端一次再加 40-80 ns)就是实测里 60-140 ns 的全部构成。
给一组可对照的实测量级(双路 Ice Lake、8 通道 DDR4-3200、理论峰值 204.8 GB/s):STREAM Triad 实测约 165-175 GB/s,达成率 82% 左右;换成纯随机 64 B 指针追逐,有效带宽跌到 30-50 GB/s——差的不是总线,而是每次访问都换行,tRCD+tRP 全额收费且 bank 冲突频繁,单 bank 每 29 ns 才能服务一次。tFAW 的影子在这种负载下也能看到:突发连发 4 次 ACTIVATE 后第 5 次被强制推迟几个 nck,排队深度曲线出现特征性的小台阶。反过来,把同一负载的访问模式改成「按 256 B 步长顺序扫」,行命中率立刻把 ACT/CAS 压到 0.05 以下,带宽回到 150 GB/s 量级——同一条内存条、同一组时序参数,带宽差 4 倍,这就是「时序参数决定上限、访问模式决定你在上限的哪一档」的最直观实验。
五、实测与定位:怎么知道时序参数在咬你
第一步,看带宽达成率。用 uncore IMC 计数器(uncore_imc/cas_count_read/ + cas_count_write/,每次 CAS 64 B)折算实际带宽,除以理论峰值(通道数 × 25.6 GB/s @ DDR4-3200):
- 达成率 >85%:时序参数没有实质拖后腿,瓶颈在别处(负载本身就是这个访问模式)。
- 达成率 60-85%:正常区间,交织不完美 + 刷新 + 读写切换的合理损耗。
- 达成率 <60% 且负载是流式:值得深挖,常见原因是读写混杂频繁转向(tWTR/tRTW)、地址映射不当导致 bank group 冲突集中,或者 NUMA 错配。
第二步,看行命中率与换行频率。部分平台的 IMC 有 pre_count / act_count 事件:ACT / CAS 比值接近 1 说明几乎每次列访问都换行(open-page 没捞到好处),tRCD/tRP/tWR 全额按次收费;比值很低(0.1 量级)说明行命中良好,时序税被摊薄。
第三步,读写比例异常时专项看写。写占比高且 ACT/CAS 高,tWR 的 24 nck 按次叠加,可以考虑:应用侧合并写(攒批)、确认 MC 写 drain 水位配置(BIOS 里部分平台可调)、或换用 tWR 更短的颗粒(同代内不同 speed bin 的 tWR 不同)。
两个反直觉提醒:
时序更紧的条子不一定跑得更紧。SPD 里写的是颗粒能力,实际生效时序由 MC 训练(training)决定,受主板走线、DIMM 插满程度、温度影响。四条插满时常常自动降速档(gear down)或放宽时序,标称 tCCD_L = 8 的条子可能实际跑在 10。
放宽 tCCD 不一定损失带宽。如果负载本来就 bank 并行度充足,tCCD_L 从 8 放宽到 10 只影响同 group 突发,整体带宽可能纹丝不动——这就是为什么评测里时序微调对带宽敏感型负载(STREAM)影响小、对延迟敏感型负载(指针追逐)影响大。
BIOS 里的内存时序页慎动。生产服务器把 tCCD/tWR 手动压低于 SPD 值,轻则是 MC 训练失败回退默认、重则偶发单 bit 翻转被 ECC 纠正后才露馅——而 ECC 纠正事件本身就会污染性能数据。要动时序,先用 memtest86+ 之类做满负载烤机,再拿 uncore 带宽数据对比前后,确认「快了」是真的快而不是漏了纠错路径。对绝大多数线上场景,锁定 JEDEC 标准档、把精力放在 DIMM 拓扑与 NUMA 绑核上,投入产出比远高于抠时序小参。

上面这张诊断图把本节串成行动路径:先拿达成率分流(排除「负载本身如此」),再拿 ACT/CAS 区分「行换得太勤」与「读写转向太勤」,最后落到具体的时序参数上。顺序不能反——先怀疑 tCCD 再去数 cas_count,是本末倒置。
六、DDR5 与 HBM:时序税没有消失,只是换了形态
直觉上「新一代内存更快,时序税应该更小」,实际账本更微妙。DDR5-4800 的命令时钟升到 2400 MHz(1 nck ≈ 0.417 ns),tCCD_L 仍是 8 nck ≈ 3.3 ns、tCCD_S 缩到 4 nck 甚至更短——但 DDR5 把 burst length 提到 16,一次列访问传 8 个时钟,恰好等于 tCCD_L。于是同 bank group 连续访问在 DDR5 上反而能 100% 占满总线,tCCD_L 不再是五折税——这是 DDR5 微架构层面一个实打实的进步,代价是单次访问的最小颗粒还是 64 B(两个 32-bit 子通道各传 32 B),小粒度随机访问的有效带宽并没有翻倍。
tWR 在 DDR5 上典型 30 nck ≈ 12.5 ns,绝对时间略降,但相对「每 64 B 传输 3.3 ns」的比例没有本质变化——写恢复是电容物理,不随工艺线性缩。HBM(High Bandwidth Memory,高带宽内存,把 DRAM die 垂直堆叠走超宽接口)的思路干脆不同:单根线速率低(2-3 Gbps)、但一通道 128 bit 且通道多,时序税被「宽度」摊薄而不是被「频率」消灭——见 HBM 与 GDDR 内存控制器 的对比。

这张图三代并排的重点:DDR5 的 tCCD 改善来自「burst 变长恰好盖住同组间隔」,不是物理间隔缩短;tWR 这类电容恢复时间在三代间只降了约 15%;HBM 则用宽度把单次传输拉宽、让固定纳秒级时序的占比变小。时序税的三种解法——长 burst、宽总线、多 bank 交织——本质上都是拿并行度换时间,电容充放电的纳秒数一百年也没降多少。
落到选购与调参建议上:普通服务器场景不要纠结时序小参,JEDEC 标准档跑稳远比 XMP 超频档的边际收益重要;真正能动的杠杆是「DIMM 配置」——同容量下 2 条 rank 数更多通常比 1 条好(交织资源多),插满通道数永远是第一优先级(带宽 = 通道数 × 单通道)。时序参数的价值更多在「看懂账本」:当 uncore 数据显示达成率异常时,知道该怀疑哪一项。
这一篇在知识体系里的位置
本篇是 DRAM 时序专题的量化篇:结构背景在 DRAM 子系统组织,行策略在 DRAM 行缓冲命中策略,并行度在 DRAM bank 并行与 rank,调度器视角在 DRAM 控制器 FR-FCFS 调度,写路径专项在 DRAM 写排水策略,刷新开销在 DRAM 刷新管理。观测手段见 uncore PMU 事件编程,延迟全景见 内存层级延迟带宽全景。
总结
DRAM tCCD/tWR 时序是每一次内存访问必付的物理税:tCCD 以「列访问最小间隔」直接划定带宽上限(同 bank group 打五折),tWR 以「写完 15 ns 才能关行」让换行写路径比读贵 70%,tRC/tRAS/tRP 决定单 bank 吞吐与换行延迟——实测定位的顺序是先看带宽达成率、再看 ACT/CAS 换行频率,把玄学内存变慢变成可以除出来的纳秒账。