CPU 100% 但 top 看不到高占用进程怎么排查?
更新时间:2026-10-07。短答页。现象是「机器 load 飙高、监控说 CPU 打满,但 top 里 %CPU 那一列没有明显大户,%id(idle)却还挺高」——先别急着重启,这通常不是灵异事件,而是 top 的统计口径和你的预期对不上。
一句话回答
先看 top 首行汇总里 CPU 时间落在哪个桶:us 低但 sy 高是系统调用/内核在忙,wa 高是 I/O 等待不是 CPU 真忙,st(steal)高是虚拟机的 CPU 被宿主机抢走了,容器里 top 显示 idle 但宿主机打满是统计口径差异;再用 mpstat -P ALL、perf top、宿主机视角的 pidstat 逐层补刀,四类原因一对照基本就能定位。
现象与第一判断
典型画面是这样的:负载均衡报警,登录机器执行 uptime 看到 load average 远超核数;打开 top,按 P 排序,头几名进程 %CPU 加起来不到 50%,但 %Cpu(s) 那一行的 us+sy 已经接近 100% 或者 load 与 idle 数据自相矛盾。
这里要先建立一个关键认知:top 的进程列表和 CPU 汇总行是两套统计。进程列表只算「以进程身份被调度执行的代码」,而汇总行算的是 CPU 核的每一微秒花在了哪里。两边对不上,说明 CPU 时间花在了进程列表覆盖不到的地方。
原因分类:CPU 时间去哪了
第一类:落在 sy(system,内核态)。进程疯狂做系统调用(高频 read/write 小包网络、mmap 抖动、锁竞争引发的 futex 风暴),或者软中断(softirq,内核处理网络收包等异步事件的机制)打满单核。这类时间算在进程头上会很分散,单个进程看不出大户。
第二类:落在 wa(iowait,I/O 等待)。磁盘或 NFS 慢,大量进程 D 状态(不可中断睡眠)排队等 I/O。wa 高会把 load 推高,但 CPU 实际是闲的——load 高不等于 CPU 忙,这是最常见的误读。
第三类:落在 st(steal,被宿主机抢占)。虚拟机场景,宿主机超卖 CPU,你的 vCPU 想跑但拿不到物理核。这个时间对虚拟机内的进程完全不可见,top 进程列表自然空空如也。
第四类:口径与隐藏。你在容器里执行 top,看到的 CPU 是宿主机整机的(top 读 /proc/stat,容器不隔离它),但进程列表只显示容器内的进程——宿主机上别的容器把 CPU 打满了,你的容器里却一片祥和。还有一种少见情况:恶意进程通过劫持 ps/top 的库调用把自己藏了起来。
排查路径
这张图就是整个排查的决策树:入口永远是 top 汇总行的四个桶。sy/si 高走内核路径,mpstat -P ALL 1 看是不是单核被打满(单核满而其他核闲,多半是软中断或某个内核线程),再用 perf top 直接看内核态热点函数;wa 高走 I/O 路径,别在 CPU 上浪费时间;st 高直接跳出本机,问题在虚拟化层;汇总行本身不高(idle 很充足)但监控告警,那基本可以断定是容器口径问题,要到宿主机上看整机。
排查命令速查
# 1. 汇总分解:每个核的 us/sy/wa/st
mpstat -P ALL 1 5
# 2. 内核态热点(sy 高时):直接看哪个内核函数在烧 CPU
perf top -g
# 3. 全系统按进程看(含内核线程、短生命周期进程)
pidstat 1 5
# 4. 软中断是否倾斜到单核
watch -n1 'cat /proc/softirqs'
# 5. 容器口径确认:对比容器内外
cat /proc/stat | head -3 # 容器内(=宿主机数据)
docker stats # 宿主机上看各容器真实占用
# 6. 短进程漏网:top 默认 3 秒采样会错过瞬时进程
pidstat 0.5 10 # 加密采样
execsnoop-bpfcc # 直接看谁在疯狂 fork 新进程几个使用要点:mpstat -P ALL 的详细用法见 mpstat:按核观察 CPU;perf top 是 perf 家族里最轻量的实时视图,不需要提前 record;pidstat 对「进程秒生秒死导致 top 采样漏掉」的场景特别有效,见 pidstat:按进程看资源占用。
解决办法(按原因对应)
- sy 高 / 软中断单核打满:确认热点后对症——网络软中断倾斜就开 RPS(Receive Packet Steering,把收包软中断分摊到多核)或多队列网卡 RSS;应用层系统调用风暴就改调用方式(批量化读写、加缓存)。
- wa 高:这不是 CPU 问题,去查磁盘,参考 vmstat 的
b列和iostat -x的util%、await。 - st 高:本机无解。降本虚拟机的负载、迁移到不拥挤的宿主机、或换独享型实例。
- 容器口径:监控和排障都统一到宿主机层做,容器内只看自己 cgroup 的
cpu.stat;容器与虚拟机的口径差异背景见 容器性能分析。 - 隐藏进程:对比
ps aux与ls /proc | grep -E '^[0-9]+$'的数量,对不上就按入侵流程处理。
防复发
- 监控采集把 us/sy/wa/st 四个桶分开上报,不要只盯一个总的 CPU 使用率;st 在虚拟机和云主机上是必选项。
- 容器环境的 CPU 告警基于 cgroup 指标(
container_cpu_usage_seconds_total之类)而不是 node 指标,避免互相误伤。 - 跑批/定时任务打散执行时间,防止整点并发 fork 风暴造成「top 看不到的 CPU 尖峰」。
总结
CPU 100% 但 top 看不到大户,本质是「进程列表口径」和「CPU 时间口径」对不上:先用 top 汇总行加 mpstat -P ALL 把时间分到 us/sy/wa/st 四个桶——sy 高用 perf top 看内核热点、wa 高转去查磁盘、st 高找宿主机、汇总行正常但监控告警则是容器内 top 读了宿主机整机数据的口径坑,再到宿主机用 pidstat 定位真正的消耗方。