段错误没有 core 文件怎么办?
进程明明 Segmentation fault 了,工作目录里却找不到 core 文件——这是调试崩溃问题时最常见的第一个拦路虎。没有 core,GDB 事后分析就无从谈起,只能干瞪眼。本篇按「core 生成链路」逐段排查,覆盖单机 systemd 系统和容器两大场景。core 文件本身的完整用法见 core dump 详解,信号机制背景见 Linux 信号。
本文要回答的问题
- 段错误发生后,core 文件到底由谁、在哪一步生成?
- 为什么
ulimit -c unlimited设了还是没有 core? - systemd 系统上 core 被「藏」到哪里去了?
- Docker 容器里的段错误为什么默认收不到 core?
- 怎么一次性把收集配置固化下来,防复发?
现象
典型症状是三种之一: shell 打印 Segmentation fault (core dumped) 但当前目录没有 core;打印 Segmentation fault 连 (core dumped) 字样都没有;或者生产环境服务被 SIGSEGV(段错误信号,进程访问了非法内存地址时内核发出的终止信号)杀死,机器上翻遍也找不到任何转储产物。
core 生成链路:四个关口
段错误后内核不是直接往当前目录写文件,而是走一条四段链路,任何一段断掉都表现为「没有 core」:
解读这张图:进程崩掉后,内核先查 RLIMIT_CORE(core 文件大小上限,由 ulimit -c 控制)——为 0 就直接丢弃,连后面的路都不走。过了限制这关,内核读 kernel.core_pattern(一个内核参数,决定 core 写到哪个路径、用什么文件名模板,或者通过管道符 | 把 core 数据交给一个用户态程序处理)。pattern 是普通路径就走左分支,按模板落盘;pattern 以 | 开头就走右分支,整份 core 通过管道喂给采集器——现代发行版默认是 systemd-coredump,core 根本不进你的文件系统,而是进了 systemd 的存储。这就是大多数人「明明设了 unlimited 还是没有 core」的真正原因:core 没丢,只是被接管了。
排查步骤:按关口逐级检查
关口一:core 大小限制是不是 0
ulimit -c # 当前 shell 的限制,0 表示禁止生成
cat /proc/<PID>/limits | grep -i core # 看运行中进程的真实限制注意 ulimit -c unlimited 只对当前 shell 及其子进程生效。服务由 systemd 拉起时,shell 里设的根本不作用到服务进程,要在 unit 文件里写 LimitCORE=infinity。Docker 容器则要用 --ulimit core=-1 或在编排层配置。
关口二:core_pattern 指向哪
cat /proc/sys/kernel/core_pattern输出分两类:
- 普通路径,如
core或/var/crash/core.%e.%p:core 会写到该路径(相对路径相对于进程崩溃时的工作目录)。检查目标目录是否存在、是否可写、磁盘是否满。 - 以
|开头的管道,如|/usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h:core 被采集器接管,去下一关。
顺手再看两个相关内核参数:
cat /proc/sys/kernel/core_uses_pid # 1 时文件名自动追加 .PID
cat /proc/sys/fs/suid_dumpable # 0 时 setuid 程序不出 core(安全默认)关口三:被 systemd-coredump 接管的,去 coredumpctl 里找
coredumpctl list # 列出系统收过的所有 core
coredumpctl info <PID> # 看某次的栈回溯摘要
coredumpctl gdb <PID> # 直接拉起 GDB 分析如果 coredumpctl list 也是空的,查 /etc/systemd/coredump.conf 里的 Storage=:配成 none 就是收到即丢弃。另外 ProcessSizeMax=(默认常见 2G)超出的 core 会被截断或拒收,大内存进程要调大。
关口四:容器场景
容器里段错误默认没有 core,原因叠在一起:容器内进程的 RLIMIT_CORE 继承自运行时默认(通常是 0);core_pattern 是宿主机级内核参数,容器里没有 kernel.core_pattern 的命名空间隔离,容器内采集器也装不了。正确做法是在宿主机侧收集:
# 宿主机上确认 pattern 指向本机可写路径或采集器
docker run --ulimit core=-1 myimage # 给容器进程放开限制
# Kubernetes: securityContext 无法设 ulimit,用宿主机 pattern + initContainer 或节点级配置解决与防复发
一次性把链路固化:
# 1. 放开限制(systemd 服务)
# /etc/systemd/system/myservice.service.d/core.conf
[Service]
LimitCORE=infinity
# 2. 落盘到固定目录(不用采集器时)
mkdir -p /var/crash && chmod 1777 /var/crash
sysctl -w kernel.core_pattern=/var/crash/core.%e.%p.%t
echo 'kernel.core_pattern=/var/crash/core.%e.%p.%t' >> /etc/sysctl.d/99-core.conf
# 3. 磁盘保护:core 可能有几个 G,配合 systemd-tmpfiles 定期清理 /var/crash模板里的占位符:%e 可执行文件名、%p PID、%t 时间戳、%h 主机名,多实例同时崩也不会互相覆盖。拿到 core 后的分析流程见 core dump 详解;如果程序本身内存错误频发、想在崩溃前抓到现场,可以上 AddressSanitizer 在测试环境先拦截。
坑
(core dumped)字样只说明内核尝试过 dump,不代表文件真落到了你当前目录。- 容器里
cat /proc/sys/kernel/core_pattern看到的是宿主机的值,别误以为是容器自己的配置。 apport(Ubuntu 桌面默认采集器)会把 core 收进/var/crash/*.crash,非 root 读不出来。- 改了 core_pattern 没写进 sysctl 配置文件,重启后还原。
总结
段错误没有 core 文件,按链路排查:先查 RLIMIT_CORE(ulimit -c 与 /proc/<PID>/limits,systemd 服务用 LimitCORE=、容器用 --ulimit core=-1),再看 kernel.core_pattern 是普通路径还是管道——管道形式说明 core 被 systemd-coredump 接管,用 coredumpctl list 找;最后把 pattern 指到固定可写目录、把限制固化进 unit 或运行时参数,core 收集就不再靠运气。