磁盘慢但 iotop 看不到进程,问题出在哪?
更新时间:2026-10-07。短答页。iotop 看到的是「进程触发的 buffered IO 记账」,而不是「磁盘正在为谁服务」——这两者在 Linux 的 IO 栈里隔着 page cache(页缓存)、块层调度、设备队列好几层,中间每一层都可能制造「磁盘很忙、进程列表很干净」的假象。
一句话回答
iotop 只统计走 page cache 的进程级读写记账,回写线程(flush 内核线程)、direct IO(直接 IO,绕过页缓存)、cgroup IO 限速、纯元数据操作都在它的盲区里。正确姿势是分层定位:先用 iostat -x 1 确认磁盘真的慢(%util 接近 100、await 飙高),再用 bcc 的 biolatency 和 biosnoop 看块设备层到底是谁在发 IO,最后回查回写参数和 cgroup 配置。
IO 栈分层:iotop 的观测位置决定了它的盲区
这张图的核心信息:iotop 的探针挂在「进程发起 buffered IO」这一个点上。写入先落 page cache 就算完成(iotop 记一笔),真正刷盘是内核回写线程稍后异步干的;direct IO 根本不过 page cache,记账路径不同;cgroup 限速把请求摁在块层排队,进程看起来「没在发 IO」但磁盘队列已经堵死。所以「iotop 干净」不能推出「没人用磁盘」,只能说明「没有进程在做大量 buffered 写」。
原因分类:四种最典型的盲区
第一类:page cache 回写风暴。 某个进程前几分钟猛写缓存(iotop 当时能看到),脏页攒够阈值后由 flush-<设备名> / kworker 内核线程集中回写,把磁盘打满。此时 iotop 里只显示内核线程或干脆不显示,元凶进程早已写「完」。数据库批量导入、日志落盘、大文件拷贝都容易触发。页缓存与回写机制的更多背景见 slabtop 与 page cache 回收。
第二类:direct IO。 数据库(MySQL InnoDB、PostgreSQL)默认用 O_DIRECT 打开数据文件,IO 绕过 page cache 直达块层,iotop 的记账口径覆盖不全,经常显示不出或严重低估。
第三类:cgroup IO 限速。 容器或 systemd 服务配了 io.max / IOWeight 后,超额请求在块层排队等待配额。磁盘 %util 高、延迟大,但被限进程的发起速率很低,iotop 按速率排序自然排不上号。
第四类:元数据与间接 IO。 大量 fsync、目录遍历、小文件创建删除、network filesystem(NFS)流量、软 RAID/LVM 下层放大,这些负载在 iotop 的「进程读写字节数」视角下要么不可见、要么归因到错误的对象。
排查步骤:从设备层往回推
第一步:确认磁盘真的慢。 iostat -xz 1 看 %util(设备繁忙百分比)、r_await / w_await(单次读写平均等待毫秒数)。await 从基线 1ms 涨到几十上百 ms 就是真慢,详见 iostat 详解。如果 iostat 也不忙,那是应用层自己的问题,别再盯着磁盘。
第二步:块设备层看真相。 用 bcc 工具包里的 biolatency 1(块设备 IO 延迟直方图)确认延迟分布,biosnoop 逐条打印每个块请求的发起进程、扇区、耗时——这里显示的进程才是磁盘真正的服务对象,包括 direct IO 和回写流量。工具用法见 bcc 三件套:execsnoop/opensnoop/biolatency。
第三步:查回写压力。 grep -E "Dirty|Writeback" /proc/meminfo 看脏页(Dirty)和正在回写(Writeback)的量;cat /proc/pressure/io 看 IO PSI(Pressure Stall Information,IO 压力停顿指标)的 some/full 值,full 持续非零说明有任务因 IO 完全停滞。
第四步:查 cgroup 限速。 cat /sys/fs/cgroup/<服务路径>/io.stat 看实际吞吐,cat .../io.max 看限制;容器环境顺带 docker inspect 查 BlkioDeviceWriteBps 之类的配置。
iostat -xz 1 # 磁盘利用率与延迟基线
biolatency 1 # 块设备延迟直方图
biosnoop # 逐请求:谁在读写、多慢
grep -E "Dirty|Writeback" /proc/meminfo # 脏页/回写水位
cat /proc/pressure/io # IO 压力停顿
cat /sys/fs/cgroup/system.slice/io.max # cgroup 限速配置解决与防复发
- 回写风暴:调小
vm.dirty_ratio/vm.dirty_bytes(如 10% 降到 5%),让脏页更平滑地落盘,避免集中爆发;元凶进程侧用ionice降优先级或限速。 - direct IO 归属:用
biosnoop抓到进程名后,直接对照数据库实例的写放大(binlog、doublewrite、checkpoint)调参数。 - cgroup 限速:确认限速值是否偏低(比如照着 HDD 的经验值限了 NVMe),调高
io.max或改用io.weight相对权重。 - 防复发:把
biolatency输出和/proc/pressure/io接入监控,别只盯 iotop;iotop 的正确用法与局限见 iotop 使用详解。
坑
- iotop 需要内核开
CONFIG_TASK_IO_ACCOUNTING,部分容器/裁剪内核数据全零,不是没 IO 是根本没记账。 biosnoop显示?或内核线程名的请求,多半是回写或交换(swap),要继续查内存压力。iostat的%util对 NVMe/RAID 这类多队列设备参考价值打折,以await为准。
总结
磁盘慢但 iotop 看不到,本质是 iotop 只观测「进程 buffered IO 记账」这一个点,而 page cache 异步回写、direct IO、cgroup 块层限速、元数据流量都发生在它视野之外;正确路径是 iostat 确认设备层繁忙 → biolatency/biosnoop 在块层抓到真正的 IO 发起者 → 回查脏页水位、PSI 与 cgroup 配置,再从回写参数、数据库写放大、限速值三处对症调整。