进程被杀了但没有任何日志怎么办?
服务跑着跑着没了,应用日志停在正常的一行、没有任何报错,监控上进程直接消失——这不是程序自己退出(正常退出会打日志),而是被外部信号杀死。最常见的凶手是内核的 OOM killer(Out-Of-Memory killer,内存耗尽时内核挑选一个进程杀掉以回收内存的机制)。OOM killer 杀人不走应用层,被杀的进程连写最后一行日志的机会都没有。内存基础概念见 free 命令详解 和 free 的 available 与 cache/buffers。
本文要回答的问题
- 进程没日志就消失,凭什么判断是 OOM killer 干的?
- OOM killer 在内核里是怎么挑受害进程的?
- 用哪几条命令把「谁被杀、为什么被杀」挖出来?
- 怎么调整
oom_score_adj保护关键进程? - 容器/cgroup 环境下为什么系统内存没满进程也被杀?
现象
三个典型信号:进程 PID 消失、ps 查不到;应用日志戛然而止、最后一条是正常业务输出;systemd 服务状态变成 failed 或自动重启。如果你看到 shell 直接打印 Killed,那就是收到了 SIGKILL(强制终止信号,进程无法捕获、无法清理,立即死亡)——而能随便发 SIGKILL 的,主要就是 OOM killer 和人为 kill -9。
原因分类:OOM killer 的选人逻辑
内核内存耗尽(物理内存和 swap 都顶不住,或者 cgroup 限额触顶)时,OOM killer 启动,给每个进程算一个 oom_score(分数越高越容易被杀),然后杀掉分数最高的那个。打分依据大致是:进程占用的内存越大分越高,运行时间久的略有减分,root 进程有少量减分,而 /proc/<PID>/oom_score_adj(取值 -1000 到 1000 的调整值)可以人为拉偏。
这张图解释了「没日志」的全部原因:OOM killer 发的是 SIGKILL,进程收到后立即死亡,连信号处理函数都不能执行,自然写不出任何告别日志。但内核自己会把这次处决完整记录到内核环形缓冲区(kernel ring buffer,内核消息的内存队列)里——所以现场其实一直都在,只是不在应用日志里,要换地方找。注意图上还有一个分支:cgroup 限额触顶也会触发 OOM killer,这时整台机器内存可能还很充裕,只有那个 cgroup 里的进程遭殃,容器环境尤其容易踩。
排查步骤:把记录挖出来
第一步:确认是不是 OOM killer 杀的
dmesg -T | grep -i -E "killed process|out of memory|oom"
journalctl -k --since "2 hours ago" | grep -i oom命中的话会看到类似输出:
Out of memory: Killed process 12345 (java) total-vm:8388608kB, anon-rss:6291456kB
oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),task=java,pid=12345这行记录直接告诉你:被杀的 PID、进程名、当时的虚拟内存和常驻内存(RSS,Resident Set Size,进程实际占用的物理内存)大小。constraint=CONSTRAINT_MEMCG 表示是 cgroup 内存限额触发的(容器场景),没有这个字段就是整机内存耗尽。
第二步:看内存水位佐证
free -h # 当前内存与 swap 余量
vmstat 1 5 # 观察 si/so(swap 换入换出)是否活跃
grep -i oom /var/log/messages /var/log/syslog 2>/dev/null # 日志落盘的历史记录dmesg 的环形缓冲区重启后会丢,历史事件要去系统日志文件里翻。swap 狂换(vmstat 里 si/so 持续非零)是内存压力的前兆,含义见 vmstat 命令详解。
第三步:确认 cgroup 限额(容器/系统服务必查)
cat /sys/fs/cgroup/memory.max 2>/dev/null || cat /sys/fs/cgroup/memory/memory.limit_in_bytes
systemctl show <服务名> | grep -i memorymax # systemd 服务的限额
docker inspect <容器> | grep -i memory # 容器限额很多「机器 64G 内存进程 4G 就被杀」的案子,真相是 systemd unit 里写了 MemoryMax=4G 或容器 limit 只有 4G——cgroup 一到线就触发 OOM,跟整机余量无关。
解决与防复发
- 治本:排查内存为什么涨——内存泄漏、堆配置过大(如 JVM
-Xmx超过 cgroup 限额)、缓存无上限。容器里 JVM/Go 程序要开容器感知(-XX:+UseContainerSupport或对应运行时参数)。 - 调保护:给关键进程降低被杀优先级,
echo -900 > /proc/<PID>/oom_score_adj,或在 systemd unit 里写OOMScoreAdjust=-900;反过来,把可牺牲的批处理任务设成正数(如800)让它先顶雷。设为-1000则完全豁免(慎用,杀无可杀时内核可能 panic)。 - 早预警:在 OOM 发生前抓到趋势,对 cgroup 的
memory.current和进程 RSS 做监控告警,别等尸体出现。 - 留证据:确保
rsyslog/journald把内核日志落盘,避免重启后 dmesg 证据丢失。
总结
进程没日志就消失,先按 OOM killer 排查:dmesg -T 或 journalctl -k 搜 Killed process 拿到被杀进程名、PID 与当时内存占用;注意区分整机内存耗尽与 cgroup/容器限额触顶(后者看 constraint=CONSTRAINT_MEMCG 和 memory.max);解决上要么治理内存增长源头,要么用 oom_score_adj/OOMScoreAdjust 调整被杀优先级,并对内存水位做提前告警防复发。