turbostat 命令:Intel MSR 直读的频率、C-state 与功耗观测实战
在 CPU 观测工具链里,top、vmstat、mpstat 这一族回答的是「CPU 在忙什么」,它们的数据全部来自 /proc/stat 里内核记账的 jiffies。但有一类问题它们回答不了:CPU 此刻真实跑在多少 GHz?空闲核真的睡下去了吗,睡到了哪一级?整颗 CPU 功耗多少瓦,有没有撞上功耗墙在降频?这些答案不在 /proc 里,而在 CPU 的 MSR(Model Specific Register,型号特定寄存器)里——turbostat 命令就是专门读这些寄存器的工具。它是 Intel 自己写的、随内核源码 tools/power/x86/turbostat 一起维护的观测器,在 Intel 平台(以及部分 AMD 新平台)上是频率与功耗观测的黄金标准。
本文要回答的问题
- turbostat 和 top/mpstat 的数据来源有什么本质区别,为什么它看到的频率才是「真的」?
- 输出里
Avg_MHz、Bzy_MHz、TSC_MHz三个频率列分别是什么意思,怎么判断降频? CPU%c1、CPU%c6、Pkg%pc2这些 C-state 列怎么读?- 功耗列
PkgWatt、RAMWatt哪来的,能信吗? - 实战里怎么用 turbostat 排查降频、省电策略过猛、虚拟化抖动这几类问题?
一、turbostat 的数据从哪来:MSR 与 RAPL
理解 turbostat 的关键是理解它不经过内核记账。top 一族看到的是「内核认为 CPU 忙了多久」,turbostat 看到的是「硬件自己报告的事实」。它通过 /dev/cpu/*/msr 接口直接读三类硬件寄存器:
- APERF/MPERF:两个硬件计数器。MPERF 按「基准频率」恒速递增,APERF 只在核真正执行指令时按实际频率递增。一个采样周期里
APERF 增量 ÷ MPERF 增量 × 基准频率就是该核的真实平均频率——这就是Bzy_MHz的由来。 - C-state 驻留计数器:每级 C-state 都有独立的硬件计数器,记录在该状态里累计停留的时钟周期,做差除以采样周期就得到驻留百分比。
- RAPL(Running Average Power Limit)能量计数器:package、core、DRAM 各域的累计能耗计数(单位是焦耳级的小数),做差除以时间得到瓦数。
上图的数据流决定了 turbostat 的两个特性:一是需要 root(读 MSR 是特权操作);二是它测的是物理真相——哪怕内核以为核在忙,只要硬件在降频,turbostat 就能看到 Bzy_MHz 掉下来。反过来说,虚拟化环境里如果 hypervisor 不透传 MSR,turbostat 会直接拒绝工作,这也是它和一些云主机无缘的原因。另外要注意 RAPL 给出的是「能量域」口径:package 域包含核、核显和片上互联,但不包含主板和内存条上的供电损耗,别把 PkgWatt 当成整机功耗。
顺带提一句与原理文档的衔接:C-state、P-state、频率与功耗的完整机制见 CPU 频率与功耗管理,本篇只聚焦「怎么观测」。另一个历史包袱是名字:turbostat 因 Turbo Boost(睿频)观测而生,如今能力早已超出频率范畴,但 Intel 没改名,别被名字误导以为它只看睿频。
二、C-state 层级:从 C0 到 package 睡眠
turbostat 输出里大量列名是 C-state 缩写,先建立层级概念再读数据。
C-state 是 CPU 的空闲省电状态。C0 是「在跑指令」,其余都是深浅不一的睡眠:睡得越深,省电越多,但唤醒回 C0 的延迟也越长。层级分两级——核级(每个核自己睡)和 package 级(整颗插槽睡,前提是所有核都睡够深):
turbostat 列名里的规律是:CPU%c1、CPU%c6 是核级驻留百分比,Pkg%pc2、Pkg%pc6 是 package 级驻留百分比。读数时有一个要点:CPU 的 c1/c6 加起来再加 busy% 应约等于 100%;如果一台空闲机器 CPU%c6 长期接近 0,说明有东西在不停唤醒核(定时器、轮询线程、中断),package 也永远进不了 PC6——省电和稳定低延迟的天平上,turbostat 能让你看清自己在哪一端。
这里还有一个容易忽略的细节:第一行 - 开头的行是整机汇总行(所有核的平均/合计),后面才是逐核数据。超线程机器上同一个 Core 号会出现两行,对应两个逻辑 CPU;它们的 CPU%c6 数值相同,因为 C6 是物理核级的状态,兄弟线程有一个醒着核就睡不着——这也是为什么超线程会拉低整机 C6 驻留比例。
三、基本用法与默认输出
安装与最常用形态:
# Debian/Ubuntu
apt install linux-cpupower # 或 linux-tools-generic
# RHEL/CentOS
yum install kernel-tools
turbostat # 默认 5 秒采样一次,全列输出
turbostat -i 1 # 1 秒间隔
turbostat -i 1 -n 5 # 采 5 次退出(跑批友好)
turbostat -i 1 -- sleep 10 # 只在被测命令运行期间采样一段典型的默认输出(8 核桌面级 CPU,基本空闲):
Core CPU Avg_MHz Busy% Bzy_MHz TSC_MHz IRQ CPU%c1 CPU%c6 Pkg%pc2 Pkg%pc6 PkgWatt
- - 61 2.13 2864 2800 845 2.86 95.01 78.34 0.00 6.21
0 0 88 3.05 2871 2800 152 2.41 94.54 78.34 0.00 6.21
0 4 42 1.46 2872 2800 71 4.00 94.54
1 1 55 1.92 2865 2800 120 3.12 94.96
...三列频率先分清楚,这是读 turbostat 的第一课:
| 列 | 含义 | 用途 |
|---|---|---|
TSC_MHz | 时间戳计数器频率,约等于标称基频 | 参照系,一般不变 |
Bzy_MHz | 核忙碌时的平均实际频率(APERF/MPERF 算出) | 判断降频就看它 |
Avg_MHz | 整个采样周期的平均频率 = Busy% × Bzy_MHz | 含空闲稀释,忙核别看它 |
新手最常见的误读是盯着 Avg_MHz 说「频率只有 61MHz」——那是 97% 时间睡着的稀释结果。判断「跑的时候有没有跑满」永远看 Bzy_MHz。上例中 Bzy_MHz 约 2870,高于 TSC_MHz 2800,说明空闲机上零星负载吃到了一点睿频,一切正常。
其余默认列:
| 列 | 含义 |
|---|---|
Core / CPU | 物理核号 / 逻辑 CPU 号(同 Core 两行 = 超线程两兄弟) |
Busy% | 核处于 C0 的时间占比,约等于 mpstat 的 100%-idle |
IRQ | 采样周期内该核处理的硬中断次数 |
CPU%c1 / CPU%c6 | 核级 C1 / C6 驻留百分比 |
Pkg%pc2 / Pkg%pc6 | package 级驻留百分比(整颗一行,重复显示) |
PkgWatt | 整颗 package 功耗(RAPL 实测) |
四、选项表:按用途查
turbostat 选项不多,但组合很关键。下表覆盖日常会用的几乎全部选项:
| 选项 | 作用 | 典型场景 |
|---|---|---|
-i sec | 采样间隔(秒),默认 5 | 高频抖动用 1 甚至 0.1 |
-n count | 采 count 次后退出 | 脚本采集 |
-o file | 结果写文件 | 留存证据 |
-M msr | 额外 dump 一个 MSR(十六进制地址) | 读温度、控制寄存器 |
-c 列集 | 只显示指定列 | 窄屏/聚焦,如 -c Core,CPU,Bzy_MHz,PkgWatt |
-s 列集 | 在默认列基础上追加指定列 | 补看 IPC、温度 |
-q | 不打印系统信息头 | 干净输出 |
-S | summary 模式,只输出一行汇总 | 整机功耗长测 |
-J | 输出能量(焦耳)而非功率(瓦) | 批任务能耗核算 |
-T temp | 温度采样相关 | 配合 CoreTmp 列 |
-p | 只显示 package 级汇总 | 服务器只看插座 |
-P | 只显示核级 + package | 折叠线程 |
-u | 只显示用户态相关 | 少用 |
-e 列集 | 排除指定列 | 精简默认输出 |
-- 命令 | 只统计命令运行期间 | 测单个程序的功耗/频率画像 |
--show 列 | 同 -s(新写法) | 同上 |
--hide 列 | 同 -e | 同上 |
--add 列 | 追加自定义 MSR 列 | 高级定制 |
--cpu 集合 | 只观测指定 CPU | 大机器上聚焦 |
值得单独说的可加列(用 -s 调出):
| 列 | 含义 | 场景 |
|---|---|---|
IPC | 每周期指令数(Bzy 周期平均) | <1 说明访存/流水线卡,不是频率问题 |
CoreTmp | 核温度 | 配合 Bzy_MHz 判热降频 |
PkgTmp | package 温度 | 散热评估 |
CorWatt | 核域功耗 | 压测时看功耗去向 |
GFXWatt | 核显功耗 | 桌面/边缘机 |
RAMWatt | DRAM 功耗 | 内存密集型任务 |
GHz | 同 Bzy_MHz 的 GHz 表示 | 报告可读性 |
Totl%C0/Any%C0 | 聚合 C0 占比 | 概览 |
CPU%c3 | 核级 C3 | 老平台 |
SYSWatt | 系统功耗(少数平台支持) | 整机估算 |
五、三个可运行 demo
demo 1:单线程压测,看睿频与单核 busy
# 终端 A:跑一个单线程死循环
taskset -c 2 bash -c 'while :; do :; done'
# 终端 B:
turbostat -i 1 -n 5 -c Core,CPU,Avg_MHz,Busy%,Bzy_MHz,CPU%c6预期:CPU2 那一行 Busy% 接近 100,Bzy_MHz 冲到单核睿频上限(比如 4.8GHz,远高于 TSC 的 2.8GHz),其余核 CPU%c6 仍在 95% 以上。这个 demo 直观展示了「睿频是单核(少核)负载的福利」——同样的死循环开满 8 线程再测,Bzy_MHz 会掉到全核睿频档(比如 4.2GHz),PkgWatt 同步爬升几十瓦。背后的原因是睿频预算按整颗 package 的电流和温度总账来算:只有一个核干活时预算全给它,八个核一起干活就得均分。这也解释了为什么「延迟敏感的关键线程」要和批处理线程隔离开跑——不只是抢核的问题,还有睿频档位的隐性竞争。
demo 2:降频排查——Bzy_MHz + 温度 + 功耗三对照
turbostat -i 1 -s CoreTmp,PkgTmp,CorWatt -- bash -c 'for i in $(seq 8); do (while :; do :; done) & done; sleep 60; kill %1 2>/dev/null'压 60 秒满载,观察 Bzy_MHz 随时间的轨迹,对照下面的表判读:
| 现象组合 | 根因 |
|---|---|
Bzy_MHz 从睿频缓降、CoreTmp 顶到 95-100°C 附近 | 热降频:散热不足 |
温度不高,但 Bzy_MHz 降到基频附近、PkgWatt 稳定卡在 TDP 值 | 功耗墙(PL1 限制),服务器长满载是常态 |
几十秒内 Bzy_MHz 高,随后塌到基频 | turbo 时间窗(tau)到期,短跑快长跑慢,属设计行为 |
Bzy_MHz 远低于基频(比如 800MHz)且温度低 | 检查 CPUFreq 驱动/governor,或被 BIOS 限速 |
后一种情况的确认命令是 cpupower frequency-info:若 governor 是 powersave 而非 performance,空载转满载时频率爬升会有明显爬坡期;对延迟敏感的服务器,常见做法是 BIOS 里锁性能模式加 intel_pstate 的 performance governor,锁完再用本 demo 复测,Bzy_MHz 应该满载即顶到全核睿频档且不再缓降(除非撞功耗墙)。
降频类问题用 perf 是看不出来的——perf 按周期采样,频率低只是样本少。turbostat 的 APERF/MPERF 比值才是「频率本身」的一手证据。
demo 3:省电抖动排查——C-state 进进出出的代价
现象:一个低负载服务,空载时 P99 延迟偶发毛刺。
turbostat -i 1 -c Core,CPU,Busy%,CPU%c1,CPU%c6,Pkg%pc2,Pkg%pc6若看到业务核在 CPU%c6 70%+ 与忙碌之间来回震荡,而延迟毛刺与唤醒对齐,高度怀疑 C6 唤醒延迟(数十微秒级,缓存已冲刷)放大了尾延迟。验证手段是不重启、在线把 C-state 调浅再测:
# 限制只允许进入 C1(通过 intel_idle 的 max_cstate 接口需要重启;
# 在线手段是给相关核开 /dev/cpu_dma_latency 写 0,或 cpupower idle-set)
cpupower idle-set -d 2 # 禁用比 C1 深的 idle 状态(视驱动而定)对照前后 turbostat 里 CPU%c6 是否归零、业务毛刺是否消失,形成完整证据链。这类「空闲机器反而不稳」的坑,mpstat 的 idle% 只能告诉你「在睡」,睡多深、醒来多贵,只有 turbostat 能定量。
反过来也成立:如果这是一台省电优先的机器(笔记本、边缘节点),同样的输出可以用来验证省电策略是否生效——空载时 CPU%c6 应在 95% 以上、Pkg%pc6 应有明显占比。若整机空载却 Pkg%pc6 恒为 0,说明有外设或驱动拽着 package 不让睡(典型如某些 USB 设备、GPU 驱动轮询),顺藤摸瓜查 /sys/bus/pci/devices/*/power/control。
还有一个进阶用法值得单独演示:用 -s IPC 加列看每周期指令数。压一个纯计算任务(比如 openssl speed),若 IPC 接近 4(现代 x86 的理论上限附近)说明流水线喂得饱;若压数据库类负载 IPC 只有 0.8-1.2,而 Bzy_MHz 满频、Busy% 拉满,那瓶颈不在频率而在访存 stall——这时候再调 governor、锁频率都没有用,该上 perf 看 cache-miss 了。IPC 列把「CPU 慢」和「CPU 白忙」区分开,是 turbostat 里性价比最高的一列。
六、使用前提与常见坑
turbostat 很强大,但它有几个硬性前提,踩过坑才知道:
1. 必须 root,且机器能访问 MSR。 非 root 直接报权限错误。容器里即使 root,若没挂载 /dev/cpu/*/msr 或没加 CAP_SYS_RAWIO 也读不了。
2. 虚拟化环境大概率不可用。 多数云主机不透传 MSR,turbostat 会直接退出并提示「turbostat: no /dev/cpu/0/msr」。这时只能退而求其次看 /proc/cpuinfo 的 MHz(是请求值不是实测值)。少数提供裸金属或透传 MSR 的实例可以正常用。
3. 平台支持以 Intel 为主。 AMD 从较新的内核开始支持部分列(Zen 系有 APERF/MPERF 和 RAPL),但 C-state 列和温度列可能不全;ARM 平台基本没有 MSR 概念,用不了。跑之前先看启动时打印的 CPU 型号头是否被正确识别。
4. 采样本身有开销、也会唤醒核。 采样间隔太密(如 -i 0.01)会人为抬高 busy%、压低 C-state 驻留,属于观察者效应。常规观测用 1 秒,长期功耗基线用 30-60 秒。
5. 第一行输出是「上一次采样到现在」的差值。 刚启动 turbostat 的第一帧跨越的是它启动前的一段时间,数值可能怪;脚本采集时建议丢弃第一行,或直接用 -n 采多次取后续帧。
6. RAPL 功耗有边界。 PkgWatt 覆盖的是 CPU package 域,不含风扇、主板、外设;想看整机功耗要用功率插座或 BMC(ipmitool sensor)。个别老平台 RAPL 计数器位宽窄,长时间高功耗运行可能溢出回绕,短周期采样没有这个问题。
七、组合技:turbostat 在工具链里的位置
| 组合 | 分工 |
|---|---|
| turbostat + mpstat | mpstat 定「哪个核忙、忙在用户态还是内核态」,turbostat 定「忙的时候频率对不对、不忙的时候睡没睡下去」 |
| turbostat + perf | Bzy_MHz 正常但性能差 → IPC 列低 → 转 perf 找访存/分支瓶颈 |
| turbostat + vmstat | 低负载高延迟场景:vmstat 看 in/cs 是否有异常唤醒源,turbostat 看 C-state 震荡 |
| turbostat + procfs | /proc/cpuinfo 的 MHz 是 cpufreq 驱动请求的频率,turbostat 是硬件实测的频率,两者打架时信 turbostat |
turbostat -S -i 60 -o power.log | 服务器长期功耗基线,配合容量规划 |
一个排查顺序建议:性能问题先看 mpstat 定位忙核,再上 turbostat 问三个问题——频率满不满(Bzy_MHz)、热不热(CoreTmp)、撞没撞功耗墙(PkgWatt vs TDP),三问都干净才轮到 perf 深挖微架构。
这一篇在知识体系里的位置
本篇是 tools/cpu/ 观测工具族里「硬件直读」的一支:与 /proc 记账派的 top、vmstat、mpstat 互补。原理层对应 CPU 频率与功耗管理(P-state/C-state 机制)与 时钟门控与功耗门控;性能计数器深挖转 perf。
总结
turbostat 命令通过直读 Intel MSR 寄存器,给出不经过内核记账的硬件真相:Bzy_MHz(APERF/MPERF 实测频率)判断降频要对照 CoreTmp 和 PkgWatt 区分热降频与功耗墙,CPU%c6/Pkg%pc6 告诉你空闲核睡得有多深——低负载尾延迟排查时它往往是唯一的定量证据。日常就记三个形态:turbostat -i 1 看实时、turbostat -- <命令> 给单个程序画功耗频率画像、turbostat -s IPC,CoreTmp,CorWatt 加列做深度判读;频率列只信 Bzy_MHz,别被空闲稀释的 Avg_MHz 骗了。