load 高 CPU 空闲:为什么负载很高但 CPU 不忙?
更新时间:2026-10-07。短答页。这是运维现场最常见的「反直觉」现象之一:
uptime显示 load 几十甚至上百,但 top 里 CPU 使用率只有 5%。原因几乎只有一个方向——load 统计的不只是「在跑 CPU 的」任务,还有「卡在不可中断睡眠里等 IO 的」任务。
一句话回答
Linux 的 load average(负载均值)统计的是 R(Running/Runnable,运行中或可运行)+ D(Uninterruptible Sleep,不可中断睡眠)两种状态的任务总数。D 状态常见于等磁盘 IO、等 NFS 响应、内存回收卡住的进程——它们不占 CPU 但推高 load。所以「load 高 CPU 空闲」的排查套路固定:ps -eo state,pid,comm | grep '^D' 找 D 状态进程,用 vmstat 看 wa 和 b 列确认 IO 阻塞,再用 pidstat -d 定位是谁在读写。
load 到底在数什么
很多人以为 load average 是「CPU 有多忙」的百分比,这是个根深蒂固的误解。Linux 内核每隔 5 秒采样一次,把处于 R 状态和 D 状态的任务数加总,再算出 1/5/15 分钟的指数滑动平均。
- R 状态:正在 CPU 上执行,或在运行队列里排队等 CPU——这类任务确实反映 CPU 繁忙度。
- D 状态:进程进入内核态做系统调用(典型是磁盘读写),等待硬件返回,期间信号都唤不醒——这类任务不消耗 CPU,但代表「有活儿卡在内核里出不来」。
S 状态(可中断睡眠,如等网络包、等锁)不计入 load;Z 状态(僵尸进程)也不计入。所以 load=50 可能是 50 个线程在跑 CPU,也可能是 50 个进程卡在坏盘读写上,两者含义天差地别。
上图说明 load 高有两条独立路径:R 状态多(CPU 真忙)和 D 状态多(IO 卡住,CPU 反而闲)。当 top 显示 us+sy 很低而 wa 很高时,你遇到的就是右边这条路径。
原因分类:D 状态进程从哪来
第一类:磁盘 IO 阻塞(最常见)
机械盘队列打满、SSD 寿命末期掉速、RAID 卡故障降级,都会让读写调用长时间挂在 D 状态。数据库脏页回写、dd 大文件拷贝、日志风暴是典型触发者。
第二类:网络文件系统卡死
NFS 服务端宕机或网络中断时,挂载点上的所有文件操作进程进入 D 状态,且 kill -9 都杀不掉(进程要等内核的 IO 超时或恢复)。这种场景 load 会一路涨到几百。
第三类:内存回收(direct reclaim)
内存不足时,分配内存的进程会被拉进内核直接参与页面回收,回收过程中如果要把脏页写回磁盘,同样进 D 状态。swap 重度使用时尤为明显。
第四类:内核/驱动 bug 或硬件故障
某些驱动在等待永远不会返回的中断,进程永久卡在 D 状态。dmesg 里通常有「task xxx blocked for more than 120 seconds」(hung task,挂起任务检测)告警,这是内核内置的看门狗:一个任务连续 120 秒没有让出 CPU 就会打印完整栈信息。
两个容易误判的场景
一是短生命周期 D 状态采样偏差:ps 抓的是瞬时快照,如果进程在每个采样间隙进出 D 状态,你可能抓不到几个 D,但 vmstat 的 b 列平均值仍很高——这时以 b 列与 /proc/stat 的 procs_blocked 为准,别被单次的 ps 结果带偏。
二是容器里的 load 是宿主机的:容器看到的 uptime load 是整个宿主机的负载,隔壁容器把宿主机磁盘打满,你的容器里 load 一样飙高。此时在容器内怎么排查都找不到 D 状态进程,要到宿主机上查,或看 cat /proc/pressure/io(PSI,Pressure Stall Information,内核压力停顿指标)里容器自身视角的 IO 停顿。
排查命令与步骤
第一步:确认 load 与 CPU 的背离
uptime 看 load,同时 vmstat 1 5 看这几个关键列:
$ vmstat 1 5
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 47 0 204800 123456 3145728 0 0 2048 98304 1200 2400 2 3 55 40 0b 列(blocked,处于 D 状态等待 IO 的进程数)高达 47,cpu 行里 wa(iowait,CPU 等 IO 的空闲占比)40%——这就是 load 高 CPU 空闲的指纹。r 列才是排队等 CPU 的进程数。
第二步:找出 D 状态进程
ps -eo state,pid,ppid,comm,wchan:30 | awk '$1 ~ /D/'wchan 列显示进程正卡在哪个内核函数上(如 io_schedule、nfs_wait_on_request),一眼区分是磁盘还是 NFS。对具体进程可以 cat /proc/<pid>/stack 看完整内核调用栈(需要 root)。
第三步:定位 IO 来源
用 pidstat 的 -d 选项按进程看磁盘读写量:
pidstat -d 1 5 # 每秒一次,看各进程 kB_rd/s、kB_wr/s
iostat -xz 1 # 看具体盘的 %util 与 await,确认哪块盘打满iostat 的 await(平均 IO 响应时间)如果到几百毫秒甚至秒级,磁盘就是瓶颈,详见 iostat 篇。如果想进一步确认「卡在 D 状态的进程」与「读写量大的进程」是不是同一批,可以对比两条命令的输出名单——通常高度重合;不重合时,多半是有进程在读一个坏块或访问卡死的挂载点,量不大但次次卡死。
第四步:按分类处置
- 磁盘打满:限流(ionice/cgroup io 权重)、错峰、换更快的盘、优化应用的写入模式(批量、异步)。
- NFS 卡死:检查服务端与网络,挂载时加
soft,timeo=,retrans=或换softintr,避免进程永久 D 住。 - 内存回收:
cat /proc/pressure/memory看回收压力,扩容内存或收紧应用的内存占用,慎用大 swap。 - hung task:
dmesg | grep -i "blocked for",收集栈信息后升级内核或报硬件厂商。
一个典型实战场景:某台 32 核数据库服务器夜里 load 涨到 120,值班同学看 top CPU 使用率不到 10%,第一反应是「load 统计错了」。按上面的步骤走:vmstat 1 显示 b 列在 30-50 之间波动、wa 60%;ps -eo state,comm | grep '^D' 抓出四十多个 postgres 进程,wchan 全是 io_schedule;pidstat -d 1 看到 walwriter 和 backend 进程写量翻倍;最后 iostat -xz 确认数据盘 await 从 2ms 涨到 800ms——事后查明是 RAID 卡电池失效,写缓存被禁用,所有写 IO 从「写缓存即返回」退化成「真实落盘」,整机的写路径一起变慢。这类「硬件降级」型故障 CPU 完全不忙,光看 CPU 指标永远查不出来。
解决与防复发
解决层面按上面的分类对症下药;防复发的核心是监控别只盯 load 一个数:
- 分别监控 R 与 D:
vmstat的r、b列,或 node_exporter 的node_load1搭配node_procs_blocked——blocked 长期大于 0 就该告警,而不是等 load 飙到核数的好几倍。 - 监控
wa与磁盘await:iowait 超过 20% 持续几分钟,基本等同 IO 瓶颈预警。 - NFS 挂载统一加超时参数,避免一次服务端故障把整个机器的 load 顶上天。
- 对 IO 密集型服务用 cgroup v2 的 io.max 做带宽隔离,防止单个任务拖垮整机。
总结
load 高 CPU 空闲的本质是 load average 把 D 状态(不可中断睡眠)任务也算进了负载:排查时先 vmstat 看 b 列与 wa 确认 IO 阻塞指纹,再 ps -eo state,wchan | grep D 找出卡住的进程及其内核等待点,然后用 pidstat -d 和 iostat -xz 定位 IO 大户与故障盘,按磁盘打满、NFS 卡死、内存回收、hung task 四类原因分别处置,并用 R/D 分开监控替代单一 load 阈值告警。