内存通道交织:物理地址怎么被拆到 channel、rank 和 bank 上
承 dram-controller-frfcfs-scheduling——那一篇讲内存控制器收到请求之后怎么在命令队列里重排(FR-FCFS 调度),但没回答一个更靠前的问题:一个物理地址的读请求,到底被发到哪根内存条上? 答案是内存通道交织(memory channel interleaving):现代服务器有 2~12 个内存通道,每个通道下挂 DIMM、rank、bank 多级结构,控制器用一组固定的位段提取或哈希运算,把连续地址空间像发牌一样轮流撒到这些并行单元上。理解这个映射,才能解释为什么"内存带宽跑不满"、为什么大页和 numactl 绑核会改变带宽、以及为什么单条 DIMM 和多通道满配差好几倍。
本文要回答的问题
- 一个物理地址从 CPU 发出到 DRAM 颗粒,中间被拆成了哪几段,每段选中什么?
- 为什么低位交织(细粒度)是带宽最优的默认选择,它又带来什么坏处?
- 哈希映射(Intel 的 complex addressing)解决的是什么偏斜问题?
- 什么应用访问模式会跟映射位段"打架",把流量挤到少数 bank 上?
- 在 Linux 上怎么观测交织配置是否生效、带宽是否被偏斜拖垮?
一、地址的旅行:从物理地址到 DRAM 颗粒
一次 LLC miss 之后,物理地址(PA)被送到内存控制器。控制器做的第一件事不是排队,而是解码——把这个 40 多位的地址切成若干字段,每一段负责选择一级结构:
这张图的关键在于每一级都是一个并行机会:channel 之间完全独立供电、独立布线、独立控制器队列;同一 channel 内的不同 rank 共享总线但可以交替收发;同一 rank 内的不同 bank 各自有独立的行缓冲(row buffer),可以同时打开不同的行。一个流式读如果能同时打到 8 个 channel、每个 channel 内部又在 16 个 bank 间轮转,理论带宽才能跑满——这正是交织存在的理由。bank 级并行与行缓冲命中率的调度细节见 dram-controller-frfcfs-scheduling,本篇聚焦"地址怎么落到这些并行单元"这一层。
二、位段切法:低位交织 vs 高位交织
最朴素的映射是直接拿地址的某几个比特当索引,问题只在于用哪几位。两个极端方案:
| 方案 | 做法 | 效果 | 典型问题 |
|---|---|---|---|
| 低位(细粒度)交织 | 用紧邻缓存行边界的位(如 PA[8:6])选 channel | 连续地址流在 channel 间均匀轮转,带宽叠加 | 单请求延迟略增(多通道都参与小事务);功耗全通道常驻 |
| 高位(粗粒度)交织 | 用 PA 高位选 channel(如每 2GB 一段) | 地址空间整块归属某通道,便于隔离与故障隔离 | 单进程顺序访问只压一根条,带宽 = 单通道 |
| 混合 | channel 用中低位,rank/bank 用更低位段 | 兼顾并行与 bank 冲突规避 | 映射复杂,偏斜难排查 |
服务器固件的默认几乎都是低位细粒度交织,粒度常见 256B~4KB(Intel 平台典型 256B,即每 4 个缓存行换一个 channel)。原因很直接:性能。顺序预取一口气拉几十条缓存行,如果它们全落在一个 channel 的行缓冲里,其他通道全程闲置,测出来的带宽就只有理论值的 1/N。交织把"一个流"强行拆成 N 个并行子流,每个子流又恰好落在不同 bank 上保持行缓冲命中——这是消费级和服务器平台 alike 的最优默认。
代价也有。细粒度交织意味着每一次内存访问都要等所有通道就绪(配置层面),坏一根条可能整组降级;而且交织粒度是不可按进程配置的硬件属性,应用唯一能做的是配合它——比如分配对齐、避免步长恰好踩中交织周期的访问模式。
三、哈希均衡:Intel complex addressing 在解决什么
纯位段提取有个致命软肋:应用的访问模式如果在那几个位上有偏斜,负载就会不均。经典例子是按 4KB 或大页步长做指针跳跃的代码(大矩阵按行遍历、hash join 的桶表探测),地址的低 12 位在每步之间不变,变化的恰好是 channel/bank 选择位所在的中段位——如果 stride 与交织周期构成简单整数比,所有访问会周期性地砸在同一两个 bank 上,其他 bank 闲着,行缓冲还不停冲突(row hammer 式的开关闭合),实测带宽可以跌到峰值的 30% 以下。
Intel 从 Sandy Bridge 起给出的解法是 complex addressing:channel 选择位不再是地址的某几位原样拷贝,而是多个高位经过 XOR 折叠出的哈希值。XOR 哈希的性质是任何输入位的翻转都会以 50% 概率翻转输出位,于是即使输入地址规律性偏斜,输出仍近似均匀分布。这与 LLC 分片的哈希是同一个思想家族,见 cache-slice-hash-addressing 与 llc-slicing-complex-addressing——Intel 从未公开哈希的具体多项式,安全研究和逆向工程(如 DRAM 侧信道攻击)靠暴力采样物理地址对反推出每代微架构的映射函数。
这张图要传达的因果是:偏斜的锅不在应用,也不在 DRAM,而在映射函数对规律性输入不透明。哈希把"地址规律性"和"通道分布"解耦,应用不用知道映射长什么样也能拿到近似均匀的带宽——但只要 BIOS 关了交织(比如为了 NUMA 节点间隔离),或者应用 stride 恰好踩中非哈希位段,偏斜就回来了。
四、交织与 NUMA、大页的相互作用
在 NUMA 机器上,交织有两层:节点内交织(socket 内多个 channel 之间,硬件强制)和节点间交织(跨 socket,BIOS 选项,一般关闭)。后者打开后整个内存空间在节点间细粒度轮转,消除了 NUMA 亲和性——除非工作负载完全无法绑核,否则不建议开,因为每次访问都有 50% 概率走远端,平均延迟向远端看齐(本地与远端延迟差距见 cache-numa-locality 和 numa)。
大页(2MB/1GB)改变的是"连续物理地址块"的长度。4KB 小页下,进程的虚拟连续流被页表打散到随机物理页,在 channel 维度上近似天然随机——这反而帮了交织;1GB 大页则保证 1GB 物理连续,一个流式扫描会严格按交织周期轮转所有 channel,带宽最可预测。反过来,如果你在大页上按 256MB 步长做稀疏访问(恰好是 1GB/4 的倍数关系),所有访问落回同一 channel 同一 bank 的概率大增——这就是"大页放大偏斜"的经典坑。
五、观测与排查:交织是否在工作
Linux 下有几个直接的检查点:
- 确认交织拓扑:
dmidecode -t memory看 DIMM 插槽与容量是否对称(不对称配置可能退化成部分交织);lscpu和/sys/devices/system/node/node*/meminfo看每个节点的内存量是否均匀。 - 带宽实测:
numactl --interleave=all跑 STREAM,对比绑核单节点与交织模式的带宽;交织带宽 ≈ N × 单节点则映射正常。 - 偏斜信号:perf 的 uncore 事件(
uncore_imc_*/cas_count_read系列)可以按 channel 拆读命令计数,各 channel 计数偏差超过 20% 就说明存在偏斜负载;配套的带宽与延迟计数器用法见 measuring-cache-perf-counters。 - 代码层自检:怀疑偏斜时,把访问 stride 加一个缓存行(64B)的奇数倍偏移再测——带宽突然恢复,基本可以断定是映射共振。
实践中更常见的是配置问题而非应用问题:DIMM 插法不符合厂商 population rule(该插 A1/B1/C1 的槽位插成了 A1/A2/A3),固件会把通道降级成不对称交织甚至单通道模式,带宽直接腰斩。性能分析时把"内存带宽实测/理论比"作为固定前置检查,能省掉大量向下钻取的时间。微架构全景视角可回 cpu-microarch-overview,跨插槽流量路径见 uncore-ring-mesh-interconnect。
这一篇在知识体系里的位置
本篇属于微架构层"内存子系统"专题,上承 DRAM 命令调度、下接 NUMA 与缓存分片:
- dram-controller-frfcfs-scheduling:请求落到 channel 之后,控制器内部的命令重排与行缓冲策略。
- cache-slice-hash-addressing 与 llc-slicing-complex-addressing:同一套 XOR 哈希思想在 LLC 分片上的应用。
- cache-numa-locality 与 numa:交织之上的节点亲和性问题。
- uncore-ring-mesh-interconnect:地址映射请求在片内互连上的传输路径。
- measuring-cache-perf-counters:用性能计数器观测 channel 级偏斜的方法论。
总结
内存通道交织是内存控制器把物理地址按位段提取或 XOR 哈希切分到多个 channel、rank、bank 上的映射机制:低位细粒度交织(典型 256B 粒度)让顺序流在所有通道间轮转、带宽线性叠加,是现代平台的默认;哈希映射(Intel complex addressing)通过 XOR 折叠把规律性偏斜的访问摊平,防止 stride 与位段周期共振导致带宽跌到峰值三成;工程上要盯的三件事是 DIMM 对称插法、NUMA 节点间交织别乱开、以及大页上避免与交织周期共振的稀疏步长。