uncore MSR 采样坑:多 socket 同步、虚拟化可见性与频率变化三类失真
承 Uncore PMU 事件编程 对盒式拓扑与编程接口的介绍。那篇讲「怎么把计数器打开」,这篇讲「打开之后数为什么还是不对」。uncore MSR 采样坑不像核内 PMU 那样有成熟的上下文切换语义兜底——计数器散落在几十个盒子里、对虚拟化基本隐身、还跟着 uncore 频率一起呼吸,任何一条没处理好,采出来的就是「能跑但不可比」的数。本文讨论的 uncore MSR 采样坑 都建立在盒式计数器已正确打开的前提上;如果你还在核内事件层面排查,perf-counter-pmu-programming 里核内 PMU 的采样语义是先修课。
本文要回答的问题
- 多 socket 机器上,为什么同一时刻各盒读出的计数器对不齐?聚合误差有多大?
- 云主机/虚拟机里为什么
perf list uncore是空的?有没有绕过去的办法? - uncore 频率动态变化会怎样污染「每周期占比」类指标?
- 自研采集器直接 RDMSR 轮询,比走 perf 多出哪些坑?
一、坑型总览:三类失真的来源
把 uncore MSR 采样坑按成因分三类,性质完全不同,对策也不同:
| 坑型 | 根源 | 典型症状 | 对策方向 |
|---|---|---|---|
| 多 socket 同步 | 计数器无全局快照机制,逐个盒读 | 同一窗口各 socket 带宽对不上、比率超 100% | 缩短读序、双读校验、按盒时间戳 |
| 虚拟化可见性 | uncore MSR 不进 vCPU 的 MSR 白名单 | guest 内 RDMSR #GP、perf 设备列表为空 | 宿主侧采集、或换芯内可虚拟化事件 |
| 频率变化 | uncore 时钟随负载动态升降 | 「每 uncore 周期」指标横向不可比 | 用绝对计数、记录频率、按时间归一 |
三类坑有个共同点:perf 帮你挡掉了一部分,但只在你完全走 perf 路径时才挡。一旦自研 agent 直接 RDMSR,或者把 perf 的数拿去跨机器、跨时间对比,坑就全露出来了。
这张图的重点:三个坑作用在采集链路的不同位置——同步坑在「读的顺序」上,虚拟化坑在「读的权限」上,频率坑在「数的语义」上。修同步救不了虚拟化,修虚拟化也救不了频率,得对症。
二、坑一:多 socket 读数不同步
核内 PMU 有 RDPMC 加冻结机制,uncore 没有等价物。CHA/IMC/UPI 的计数器各自自由运转,采集端只能一盒一盒地 RDMSR。一台双路 40 盒 CHA 加 8 盒 IMC 的机器,顺序读完一轮要几百微秒到几毫秒(每次 RDMSR 本身有开销,跨 socket 的 RDMSR 还必须跑在对应 socket 的核上,涉及进程迁移或 IPI)。
这段时间里计数器还在涨。后果:
- 两路带宽对不上。先读 socket0 的 IMC、再读 socket1 的 IMC,窗口内业务流量越大,后读的那路「有效统计窗口」实际越长。实测过:100GB/s 级别的流量下,毫秒级的读取间隔能造成 1% 左右的系统性偏差——做容量规划够用了,做「两路负载是否均衡到 0.5% 以内」的判定就不够。
- 比率超界。拿「miss 数 / 请求总数」这种比率时,如果分子分母不是同一瞬间的盒内快照(不同 umask 的两个事件各占一个计数器、但读取有先后),极端流量波动下比率能算出 102%。
规避做法三条。一是缩短读序:把同一 socket 的盒集中在该 socket 的核上一次读完(绑核后批量 RDMSR),socket 间并行开两个线程同时读,把偏压从毫秒级压到微秒级。二是双读校验:窗口开始和结束各读一轮,用差值而不是绝对值算速率——自由运转的计数器在差值口径下天然消除了「起始时刻不一致」。perf stat 走的就是差值口径,这也是「走 perf 路径坑少一半」的原因。三是聚合口径想清楚:跨 socket 求和前先确认各盒隶属,盒号与 socket 的映射查 /sys/bus/event_source/devices/uncore_*/cpumask,别凭盒号奇偶猜。
三、坑二:虚拟化下不可见
uncore MSR 基本不在 hypervisor 的直通名单里。原因很现实:uncore 计数器是全 socket 共享资源,暴露给任何一个 guest 都意味着它能观测同机其他租户的内存流量——这是侧信道,公有云不可能开。
于是 guest 内的表现是:/sys/bus/event_source/devices/ 里没有 uncore_*,perf list 里 uncore 事件为空,自己 RDMSR uncore 地址段直接 #GP(general protection fault)。这不是 perf 坏了,也不是内核没编译 uncore 驱动,是硬件资源根本没递进来。
绕法按可行度排序:
- 宿主侧采集。带外监控 agent 跑在宿主机上读 uncore,再按实例归属分摊——云厂商的「物理机级内存带宽监控」就是这么来的。租户侧能做的是向平台要这个指标,而不是自己在 guest 里折腾。
- 换核内可虚拟化的事件近似。很多 vCPU 配置会透传核内 PMU(
cpu-pmu直通),可以用OFFCORE_REQUESTS类事件近似估算本虚机的内存压力。语义从「整机带宽」退化成「本 vCPU 集合的核外请求」,但对「我这个服务吃内存狠不狠」的问题够用了。核内事件的编程套路见 perf-counter-pmu-programming。 - 裸金属/独占实例。真有全 socket 级观测需求,上裸金属云或独占宿主机,这是唯一能合法拿到 uncore 可见性的云形态。
一个反向提醒:在 guest 里看到 uncore 设备存在反而要警觉——某些私有云误配把 uncore 透进了 guest,这时候你采到的数是真的,但同机邻居也能采到你的,属于平台安全缺陷,上报比利用更划算。
四、坑三:uncore 频率动态变化
uncore(mesh、LLC、IMC 逻辑)有独立时钟域,随负载在约 0.8-2.4GHz 之间动态升降(具体范围见 uncore-frequency-scaling)。这直接污染一切以「uncore 周期」为分母的指标。
典型受害者是占用率类事件。比如 CHA 的 TOR_OCCUPANCY(未决事务占用的周期数)除以 UNC_CLOCKTICKS 得到的「TOR 平均排队深度」——分母是 uncore 周期。频率降一半,同样的物理排队时长会数出两倍周期数。两次采样一次在 uncore 满频、一次在降频状态,排队深度「恶化 100%」可能只是频率变了,队列压根没变。
对策:
- 优先用绝对计数类事件(cas_count、flit 数、请求次数),它们按事务计数、与频率无关,折算带宽时用墙钟时间做分母。
- 必须用周期类指标时,同窗口记录 uncore 频率(部分代次 PCU 盒有频率 residency 计数,或读
MSR_UNCORE_PERF_STATUS类状态寄存器),把频率作为元数据一起入库,对比时只比同频段的数。 - 做性能回归对比(升级前后、调参前后)时,把 uncore 频率锁到固定档位(BIOS 或
wrmsr设置 uncore freq floor),否则你以为在比代码,其实在比 DVFS 策略。
这张图把频率坑的机制画清楚了:占用率类指标的分母(周期数)本身随频率伸缩,物理现实没变、读数翻倍。凡是要把 uncore 数据拿去做跨时间、跨机器对比的,先问自己「这两个数采的时候 uncore 各跑在什么频率上」。
五、自研采集器的额外注意事项
不走 perf、自己写内核模块或 /dev/msr 轮询的团队,除了上面三类坑还有几条工程细节。一是盒位枚举要按 PCI 拓扑动态发现,写死盒号的脚本换一代机器就静默采错盒。二是 RDMSR 必须在目标盒所属 socket 的核上执行,sched_setaffinity 没绑对会拿到 #GP 或者邻 socket 同名盒的数。三是采集频率别开太狠——RDMSR 是串行化指令,40 盒每秒采一轮的开销已经可测,高频轮询本身会扰动 uncore 行为,又叠一层测量失真。这些与 Uncore PMU 事件编程 提到的「计数器稀缺、错峰采集」是同一物理:观测 uncore 的代价不低,预算要花在刀刃上。
这一篇在知识体系里的位置
本篇是 Uncore PMU 事件编程 的避坑篇,盒式拓扑与接口背景以该篇为准;频率机制的细节见 uncore-frequency-scaling;核内可虚拟化事件的替代方案见 perf-counter-pmu-programming;跨 socket 流量的业务语义见 numa-local-remote-latency。
总结
uncore MSR 采样坑的本质是「计数器是对的,采法是错的」:多 socket 无快照机制要求差值口径加并行读序消除同步偏压,虚拟化下 uncore 不可见只能退到宿主侧或核内近似事件,频率动态升降让周期类指标跨频段不可比——用绝对计数、记录频率元数据、必要时锁频,采回来的数才经得起对比。