进程卡 D 状态怎么排查?
更新时间:2026-10-07。短答页。
ps里 STAT 列出现D说明进程处在不可中断睡眠(uninterruptible sleep),它连kill -9都不响应,绝大多数时候卡在底层 IO 或内核锁上,要沿「栈 → 设备 → 子系统」三步定位。
本文要回答的问题
D状态到底意味着什么,为什么kill -9杀不掉?- 哪些常见根因会让进程长期停在
D? - 用哪些命令能拿到「它究竟卡在哪」的证据?
- 定位后怎么处理、怎么防止复发?
一句话回答
D 状态是进程在内核里等一个「不可被打断」的资源(磁盘 IO、NFS 应答、内核锁),先 cat /proc/<pid>/stack 看内核栈定位卡在哪个子系统,再用 iostat -x 看磁盘是否 await 飙高、dmesg 搜 hung task / nfs server not responding,根因九成是磁盘故障、NFS 服务端失联或内核路径死锁。
现象
典型现场长这样:
$ ps aux | grep myapp
root 12345 0.0 0.1 ... D 10:02 0:00 myapp --sync
$ kill -9 12345 # 没反应
$ cat /proc/12345/status | grep State
State: D (disk sleep)进程不消耗 CPU(%CPU 接近 0),不响应任何信号,系统负载(load average)却被它抬高——因为 load 统计的是 R 和 D 状态的总数。偶发几秒的 D 是正常的(任何同步 IO 都会经过 D);持续几十秒以上不退出的 D 才是问题。
一、先搞清楚 D 在状态机里的位置
Linux 进程状态里,R(运行/就绪)、S(可中断睡眠)、D(不可中断睡眠)、Z(僵尸)、T(暂停/被跟踪)是最常见的五个。D 与 S 的本质区别:S 在等待时信号可以把它唤醒,D 在拿到内核资源之前对信号完全无感——这就是 kill -9 失效的原因。
看图的关键点就一条:d -> r 是 D 状态唯一的出路,没有任何信号能把它拽出来。所以排查 D 不是「怎么杀掉它」,而是「它等的那个资源为什么一直不来」。
二、原因分类
按出现频率从高到低,长期卡 D 的根因基本逃不出这四类:
| 根因类别 | 典型场景 | 快速判据 |
|---|---|---|
| 块设备/磁盘故障 | 磁盘坏道、RAID 降级、存储链路抖动 | iostat -x 1 中该盘 await 飙到几百 ms、%util 100% |
| NFS 服务端失联 | NFS 服务器宕机、网络分区,挂载为 hard 模式 | dmesg 有 nfs: server not responding |
| 内核锁/子系统死锁 | 驱动 bug、内存回收路径(direct reclaim)卡住 | /proc/<pid>/stack 栈顶停在 mutex_lock/__get_free_pages |
| 内核 hung task | 任务超过 hung_task_timeout_secs(默认 120s) | dmesg 打印 blocked for more than 120 seconds 及完整堆栈 |
NFS 的 hard/soft 挂载模式值得一提:hard 模式下服务端失联会让 IO 无限重试,进程永久卡 D;soft 模式超时后返回错误,进程能拿到 EIO 退出。这是「为什么换了挂载参数就好了」的原理。
三、排查命令与步骤
第一步:确认卡 D 的进程和它在等的通道
ps -eo pid,stat,wchan:32,comm | awk '$2 ~ /D/'wchan(wait channel)显示进程睡眠在哪个内核函数上,如 nfs_wait_on_request、io_schedule、__wait_on_bit,直接给出子系统线索。wchan 相关背景见 procfs 虚拟文件系统。
第二步:读内核栈——最有分量的一步
cat /proc/<pid>/stack这是进程当前的内核调用栈,从下往上读。例如栈里出现 nfs4_proc_read → rpc_wait_for_completion_task,锁定 NFS;出现 generic_file_read_iter → blk_finish_plug → io_schedule,锁定块设备。注意读 /proc/<pid>/stack 需要内核开启 CONFIG_STACKTRACE(主流发行版默认开)。
第三步:佐证设备层是否出问题
iostat -x 1 5 # 看 await / %util,定位慢盘
dmesg -T | grep -iE "hung|blocked|nfs|I/O error|timeout"iostat 的用法细节见 iostat 磁盘 IO 观测;想看「谁在发 IO」可以配合 iotop 按进程看 IO。
第四步:批量取证(D 进程很多时)
echo w > /proc/sysrq-trigger # 向 dmesg 倾倒所有 D 状态任务的堆栈
dmesg -T | less这等价于触发一次全局 hung task 转储,适合「整机疑似存储 hang、大量进程进 D」的场景。
四、解决
- 磁盘/存储问题:能卸就卸(
umount -l懒卸载绕过卡死点)、替换坏盘、修链路;进程会在 IO 返回错误后自行退出 D。 - NFS:确认服务端恢复;客户端
umount -f -l强制卸载;改挂载参数为soft,timeo=,retrans=或softerr,把「永久等」变成「超时报错」。 - 内核锁/驱动 bug:用户态无解,只能重启或升级内核/驱动;保留
/proc/<pid>/stack与 sysrq 输出作为上报材料。 - 应急提示:卡 D 的进程不计入「可杀」范围,任何
kill、kill -9都无效,不要在脚本里指望它退出——处置对象永远是它等的资源,不是进程本身。日常用top观察负载时,记得 load 里混着 D 状态进程,判读方法见 top 命令详解。
五、防复发
- 挂载策略:NFS 一律评估 hard/soft 取舍,关键业务用 soft + 超时 + 应用层重试,避免把可用性绑死在单个服务端。
- 监控:采集
node_procs_blocked(node_exporter 已有)或自行统计ps中 D 状态数,持续 >0 且时长超阈值就告警;同时监控磁盘await与 SMART。 - hung task 检测:把
kernel.hung_task_timeout_secs从 120s 调到与业务容忍度匹配,并开启hung_task_panic=0只告警不 panic,配合 dmesg 采集落盘。 - 应用设计:对不可控的外部 IO(对象存储网关、FUSE 文件系统)加应用层超时与异步化,避免主线程同步读写到不可中断路径。
- 留证据习惯:卡 D 现场先抓
/proc/<pid>/stack和echo w输出再重启,否则重启后根因归零,同样的事故会再来一次。
这一篇在知识体系里的位置
本篇是「进程异常状态」排查线的入口之一:横向关联 core dump 分析(进程崩溃线)与 procfs 虚拟文件系统(/proc 取证基本功);设备层的深入观测见 iostat 与 iotop;负载与状态列的解读见 top。
总结
进程卡 D 状态说明它在内核里等一个不可被打断的资源,kill -9 对它无效;排查路径固定为 ps 看 wchan 粗定位、cat /proc/<pid>/stack 读内核栈定子系统、iostat -x 与 dmesg 佐证磁盘或 NFS 故障、echo w > /proc/sysrq-trigger 批量取证,根因集中在磁盘故障、NFS 服务端失联(hard 挂载)和内核锁死锁三类,处置的对象永远是资源而不是进程本身,防复发靠 soft 挂载策略、D 状态监控和 hung task 检测参数调优。