RDTSC 与 invariant TSC:跨核时间戳不同步、频率漂移与序列化成本的完整判读
更新时间:2026-10-04。在用户态测一小段代码的耗时,最便宜的办法不是
clock_gettime,而是直接读 TSC(Time Stamp Counter,时间戳计数器)——一条rdtsc指令二十来个周期,连系统调用都不用进。但便宜的东西都有暗价:TSC 每个核一个,跨核读出来的值可能差几百拍;它的计数频率和 CPU 实际运行频率是两回事;更要命的是rdtsc本身不参与乱序执行的排序,你测的区间可能根本不是你以为的那段代码。本篇把 RDTSC 与 invariant TSC 这三条坑一次讲清,上游背景见 CPU 微架构总览 与 乱序执行机制,下游衔接 perf 性能计数器编程。
本文要回答的问题
- TSC 到底按什么节奏走?它和 CPU 当前运行频率是什么关系?
- invariant TSC 是什么意思,怎么判定手上的机器是不是?
- 为什么跨核读 TSC 会算出「负耗时」?操作系统做了哪些同步,还剩多少偏差?
rdtsc与rdtscp差在哪?为什么测代码块要配lfence?- 拿 TSC 拍数怎么换算成纳秒?换算错了会偏多少?
一、TSC 是什么:一个永不回头的 64 位计数器
TSC 是每个 CPU 核自带的一个 64 位计数器,复位清零后单调递增,软件通过 rdtsc 指令读取(低 32 位进 eax,高 32 位进 edx)。它在 Pentium 时代引入,最初的语义很朴素:每个 CPU 时钟周期加一。问题也出在这句「每个时钟周期」上——那时的 CPU 是定频的,一个周期就是一个周期;后来有了变频(DVFS,动态电压频率调整,见 DVFS 频率切换延迟),「一个周期」的物理时长开始随负载伸缩,TSC 的读数就不再能线性对应墙钟时间。
厂商的解法分两步。第一步是 constant TSC:无论核频率怎么变,TSC 都按一个固定的基准频率走。第二步是 nonstop TSC:核进入深度 C-state(休眠态,时钟门控停掉核心时钟,背景见 时钟与电源门控)时 TSC 依然不停。两个特性合起来就是 invariant TSC——「不随频率变、不随休眠停」的时间戳计数器。CPUID 叶子 0x80000007 的 edx 第 8 位就是 invariant TSC 标志位,近十几年的 Intel 和 AMD 服务器 CPU 全都置位。
上图是 invariant TSC 的谱系与判定链:硬件能力由 CPUID 上报,内核启动时检测到该位才把 tsc 注册为可用时钟源(dmesg | grep clocksource 能看到 tsc: Detected ... MHz processor 之类的行),否则退回到 HPET 或 ACPI PM timer,每次读时间都要走 I/O 端口,贵一两个数量级。
二、跨核同步:offset 可以校准,漂移无法消除
每个核有自己的 TSC,上电时刻不同、复位路径不同,天然存在偏移(offset)。主板设计良好的机器上,各核 TSC 由同一个参考时钟驱动、同时复位,偏移接近零;但多路服务器跨插槽、热插拔核、深度 C-state 唤醒后的重同步,都可能让两个核的 TSC 差上几十到几千拍。
这就引出性能测量里最常见的鬼故事:线程在核 0 上读了起始 TSC,被调度器迁到核 5,再读结束 TSC,两次读数之差可能是负数——不是时间倒流,是核 5 的 TSC 比核 0 落后了几千拍。Linux 内核启动时会做 TSC 同步校验(unsynchronized TSC 检测),偏差超过阈值就把 tsc 从时钟源里摘掉,标记为 unstable。但内核的校验只保证「偏差小到时钟源可用」,不保证「偏差为零」;几十拍的残余偏移对内核无所谓,对拿 TSC 测 100 纳秒级区间的微基准就是致命的。
实际可用的对策就三条:
| 对策 | 做法 | 代价 | 适用场景 |
|---|---|---|---|
| 钉核测量 | sched_setaffinity 把线程钉在一个核上,起止都在同核读 | 几乎为零 | 微基准、单次测量 |
| 用 rdtscp 的辅助值 | rdtscp 在 ecx 返回 TSC_AUX,内核写入核号,检测是否迁核 | 指令稍贵 | 库内嵌计时 |
| 改用 clock_gettime | CLOCK_MONOTONIC 的 vDSO 路径内部已处理跨核偏移 | 每次约 20-25 纳秒 | 生产埋点 |
上图把「负耗时」事故链画了出来:问题不在任何单个环节,而在「读数」与「所在核」这对隐含绑定被调度器悄悄拆开。rdtscp 之所以多返回一个 TSC_AUX,就是为了让软件能当场发现「我已经不在原来那个核上了」——读到核号变了,这次测量作废重来即可。
虚拟化环境还要再多一层警惕。虚拟机里的 TSC 由宿主机虚拟出来,热迁移到另一台物理机后,宿主机虽会用偏移量补偿让 guest 的 TSC 保持单调,但频率基准可能悄悄换掉——迁移前校准好的换算系数,迁移后整个测量就带上了系统性偏差。云上跑长周期压测时,建议在脚本里周期性重校准换算系数,而不是启动时校准一次就用到天荒地老,否则报告里的延迟曲线会跟着宿主机悄悄漂移。
三、序列化成本:rdtsc 不排序,rdtscp 排一半
第三条坑最隐蔽。rdtsc 是一条非序列化指令:CPU 的乱序引擎(机制见 乱序执行机制)可以自由地把它提前执行——你写的代码是「rdtsc、被测代码、rdtsc」,实际执行顺序可能是「被测代码后半段、两次 rdtsc、被测代码前半段」,两次读数挤在一起,测出来的区间趋近于零。
rdtscp 改善了一半:它会等之前所有指令都退休(retire)后才读计数器,保证「起始点之前的代码不会漏进来」,但它后面的指令仍可被提前到读数之前,所以终点还是可能偏早。要两头都堵住,工程上的标准写法是:
- 起点:
lfence; rdtsc(lfence排空之前指令的执行,细节见 内存屏障的成本); - 终点:
rdtscp; lfence(先读数再拦住后续指令)。
代价也要算清楚:lfence 本身约 4-6 个周期,rdtsc 约 20-30 周期,rdtscp 约 30-40 周期——一次完整测量夹进 60-80 周期的固定开销。被测代码如果只有几十周期,测出来的数字里一半是尺子本身的长度。所以 TSC 适合测百拍以上的区间,更短的要用重复多次再取差分的统计学办法摊薄。
另一个常见的误用是拿冷启动的第一次读数说事。TSC 相关电路和指令路径在核空闲后第一次执行往往偏慢(微码路径、单元唤醒),第一次 rdtsc 花掉上百周期并不罕见。严肃的微基准都会先空跑几轮 rdtsc 热身,把尺子本身焐热了再开测;并把最小值而不是平均值当结果——平均值会被中断、迁核这些噪声事件拉高,最小值才最接近「无干扰时这段代码的真实下界」。
四、换算成时间:频率从哪来,错了偏多少
TSC 读数是「拍」,要变成纳秒必须除以 TSC 频率。invariant TSC 的频率是固定的基准值:Intel 近几代是 CPUID 叶子 0x15 报告的晶体频率换算(Skylake 之后多为 24MHz 晶振乘以一个比值),常见桌面芯片约 2.0-3.6GHz;注意这个值常常不等于标称主频,更不等于睿频。
踩坑点是拿 /proc/cpuinfo 里的 cpu MHz 去除——那是当前瞬时频率,随负载浮动,和 invariant TSC 的固定频率没有必然关系。正确来源按优先级:CPUID 0x15 的 TSC 频率 > 内核启动日志里校准出的值 > 拿 CLOCK_MONOTONIC 当基准自己校准(隔一秒各读一次 TSC 求差)。校准偏差 1%,一万纳秒的测量就偏 100 纳秒,长区间测量里这是系统性误差,无法靠多次重复消除。
这一篇在知识体系里的位置
本篇是计时与计数系列的入口之一:向上接 CPU 微架构总览 与 乱序执行机制,解释为什么一条读指令还要操心排序;横向对照 perf 性能计数器编程——TSC 是「时间」的尺子,PMU 是「事件」的尺子,两者常在同一个 benchmark 里并肩出现;向下衔接 内存屏障的成本 与 DVFS 频率切换延迟,把序列化开销与变频背景各展开一篇。
总结
RDTSC 与 invariant TSC 给了用户态一条二十几个周期拿到时间戳的快路,但用对它要同时过三关:用 CPUID 0x80000007 确认 invariant TSC 存在,用钉核或 rdtscp 的 TSC_AUX 挡住跨核偏移,用 lfence 配对堵住乱序泄漏——三关都过了,拿固定基准频率换算出的纳秒数才可信,任何一关偷工,测出来的都只是尺子自己的影子。