服务器桌面 SKU 差异:同架构下 mesh 节点数、LLC 切片与核数配置如何拉开延迟
更新时间:2026-10-03。环形与 mesh 片上互连 讲了 Intel 从 ring 总线转向 mesh 网络的拓扑演化,LLC 切片与地址散列 讲了末级缓存被切成多少片、地址怎么散到各片上。这两篇都默认「核就长这样」。但同一个 Golden Cove、同一个 Skylake 核,摆在桌面 i9 里和摆在至强白金里,外面包的那层非核(uncore)完全是两个世界——这就是服务器桌面 SKU 差异要回答的问题:为什么「同架构」的服务器 CPU,缓存延迟数字和桌面版对不上。
本文要回答的问题
- 同一代微架构的服务器与桌面 SKU,在互连拓扑上到底差在哪?
- mesh 节点数和 LLC 切片数为什么跟着核数走,它是怎么定的?
- 节点数增多如何把「LLC 命中延迟」从一个数字变成一个分布?
- 这些差异对性能测试、容量规划和跨平台对比有什么实际影响?
一、SKU 差异的本质:核相同,非核不同
先纠正一个常见误解。很多人以为「至强和酷睿同代同架构,性能差异就是频率和核心数」。这只说对了一半。CPU 厂商的设计方式是:核(core)是同一份 RTL(寄存器传输级描述),按产品定位往外套不同的非核壳子。桌面 SKU 的壳子是少量核心挂一条 ring 总线,配一个内存控制器;服务器 SKU 的壳子是几十颗核撒在一片二维 mesh 网格上,每个节点自带一片 LLC 切片、一个缓存一致性代理(CHA,Caching and Home Agent),再配多通道内存控制器、PCIe 根复合体、UPI 互连接口。
也就是说,服务器桌面 SKU 差异的大头不在核内流水线——那部分确实一样——而在核外的「城市规划和交通系统」。而这恰恰是内存型负载最敏感的部分:核内一个 load 指令出了 L2,剩下的旅程全在非核里完成。
上图点出了本文的核心论点:核是同一份设计,往桌面套是 ring 加单内存控制器,往服务器套是 mesh 加多通道内存加 socket 间互连。后面所有延迟差异都从这个分叉点长出来。
二、mesh 节点数:核数驱动的网格扩张
mesh 拓扑里,每颗核和它那片 LLC 合占一个网格节点,节点之间靠路由器一格一格转发。节点数基本等于核数(再加内存控制器等少量特殊节点),所以节点数随 SKU 核数线性增长:桌面 8 核是「一排 8 个站的小环线」,服务器 28 核是「6×5 网格的 30 个站」。
节点数增长带来两个直接后果。第一是平均跳数(hop count)变大。ring 上 worst case 是半圈,8 站 ring 最多 4 跳;28 核 mesh 上从最左下角到最右上角,曼哈顿距离是 5+4=9 跳,每跳还要过路由器流水级。第二是切片寻址的散列空间变大。LLC 切片与地址散列 讲过,物理地址要 hash 到「哪一片 LLC 是这条数据的家」;8 片的 hash 函数和 28 片的 hash 函数不是简单换参数,28 不是 2 的幂,散列均匀性更难做,Intel 为此用了不公开的多轮异或方案,逆向社区花了好几年才逐代扒出来。
| 维度 | 桌面 SKU(典型 8-16 核) | 服务器 SKU(典型 24-40 核) |
|---|---|---|
| 互连拓扑 | 单 ring 或双 ring | 二维 mesh |
| LLC 切片数 | 8-16 片 | 24-40 片 |
| 典型最远跳数 | 4-8 跳 | 9-13 跳 |
| LLC 命中延迟 | 约 33-45 周期,较集中 | 约 50-90 周期,随距离分散 |
| 内存控制器 | 1-2 通道 | 4-8 通道 |
三、LLC 命中延迟:从一个数字变成一个分布
这是服务器桌面 SKU 差异里最容易被误读的一点。桌面上你测「LLC 命中延迟」,得到一个挺干净的数字,比如 40 个周期,方差很小——因为 8 片切片离谁都不远,ring 上也就差一两跳。服务器上同样跑一次 pointer-chasing 测试,你会看到延迟明显拖尾:近处切片 50 周期,远端切片 80 多周期,平均值落在中间,但单次访问到底多少取决于「这条数据 hash 到了哪片、那片离我几跳」。
direction: down
src: "发起核\n节点 (0,0)"
near: "近切片\n节点 (1,0)\n约 1 跳"
mid: "中距切片\n节点 (3,2)\n约 5 跳"
far: "远切片\n节点 (5,4)\n约 9 跳"
dist: "延迟分布\n50 到 90 周期拖尾"
说明: "地址散列均匀撒到各片\n平均延迟掩盖了尾部分布" { shape: text }
src -> near
src -> mid
src -> far
near -> dist
mid -> dist
far -> dist
dist -- 说明
src.style: { fill: "#EAF2FE"; stroke: "#3B6FD4" }
near.style: { fill: "#E9F8F0"; stroke: "#2E9E6B" }
mid.style: { fill: "#FEF3E2"; stroke: "#E08A1E" }
far.style: { fill: "#FDECEC"; stroke: "#D9534F" }
dist.style: { fill: "#F1ECFD"; stroke: "#7A5BD4" }上图说明拖尾的来源:同一个发起核,地址散列把访问均匀撒向近、中、远三类切片,每一类的跳数不同,合成出来的就是一个宽分布而不是一个尖峰。这对延迟敏感型应用很要命——P50 看着还行,P99 被远端切片拉高。桌面版跑得好好的缓存敏感型服务,迁到同架构至强上 P99 变差,很多时候就是这个机制,而不是「至强主频低」这么简单。
四、非包含式 LLC:切片之外的第二个变量
服务器 SKU 从 Skylake-SP 起把 LLC 从包含式改成了非包含式(non-inclusive):L2 从 256KB 扩到 1MB,LLC 更多扮演 victim 角色。这个改动本身就是服务器桌面 SKU 差异的一部分——桌面同期产品大多还是包含式小三缓。机制细节见 L2 与 L3 的包含关系。这里只强调它对「SKU 对比」的影响:桌面 i9 的「LLC 命中」和至强的「LLC 命中」语义都不一样了,至强上更多数据停在大 L2 里,L2 命中延迟占比升高,这让跨 SKU 的缓存延迟对比更不能只看一个数字。
五、对性能工作的实际推论
把上面这些落到日常工作上,有四条推论。
其一,跨 SKU 对比基准成绩时,先对齐「非核口径」。同架构桌面与服务器跑同一个内存敏感 benchmark,差 30% 不奇怪,其中频率贡献可能只有 10%,剩下全是 mesh 距离、切片散列和 LLC 策略的差异。归因时把 NUMA 本地与远端访问延迟 那套方法搬到「单 socket 内部的近远端切片」上,思路是相通的。
其二,服务器上善用 LLC 隔离手段。既然延迟是分布,就把延迟敏感线程的数据集中到离它近的切片上。缓存分区与 CAT 讲的 Cache Allocation Technology 就是干这个的:给关键应用划一片专属切片集合,既躲争抢也缩短平均跳数。
其三,采购与容量规划别只看「同架构」。同架构不同 SKU 的有效缓存延迟、有效内存带宽可以差出代际级别,用桌面压测数据推服务器容量,或者反过来,都是坑。
其四,逆向与测量时记得切片数这个参数。想自己测 LLC 延迟分布、复现切片散列函数,第一步是先搞清手头这颗 SKU 的切片数——它随核数变,同一代至强里铜牌和白金都不一样。
这一篇在知识体系里的位置
本篇属于互连与非核线。上游框架是 环形与 mesh 片上互连 和 CPU 微架构总览;同层的机制细节在 LLC 切片与地址散列 与 L2 与 L3 的包含关系;往下游用,延迟分布思维直接接到 NUMA 本地与远端访问延迟,隔离手段接到 缓存分区与 CAT。
总结
服务器桌面 SKU 差异的核心不在核而在非核:同一份核 RTL,桌面套的是小 ring 加单内存控制器,服务器套的是几十节点的二维 mesh,LLC 切片数随核数线性增长、地址散列把访问均匀撒向远近不一的切片,于是 LLC 命中延迟从桌面上的一个集中数字变成服务器上 50 到 90 周期的拖尾分布——跨 SKU 对比性能时只看「同架构」和频率,会漏掉这个最大的变量。