core 堆栈全是问号怎么排查?
更新时间:2026-10-07。短答页。gdb 打开 core 后
bt一片??是排查事故时最常见的卡点——core 本身没坏,坏的是「回溯的线索」。本文讲清两类回溯路径(帧指针链和 DWARF 展开)各自需要什么条件、断在哪、怎么救回来。core 的基本概念见 core dump 完全指南。
一句话回答
?? 意味着 gdb 知道当前停在某个地址,但算不出上一帧在哪或查不到该地址对应的函数名。前者是栈回溯失败(栈被破坏、缺帧指针且缺 unwind 信息),后者是符号表缺失(stripped)。先用 info symbol <地址>、x/16gx $rsp、info files 三条命令区分是哪一种,再对症下药。
回溯的两条路径
理解 ?? 要先知道 gdb 从「当前 PC 和栈指针」推出完整调用链的两条路:
- 帧指针链(frame pointer,FP):编译时带
-fno-omit-frame-pointer,每个函数序言把调用者的帧指针压栈(rbp指向上一个rbp),回溯就是顺链表走。简单可靠,但一旦栈被写穿(数组越界、栈溢出覆盖),链表断在哪,回溯就停在哪。 - DWARF 展开(unwind info):编译器在
.eh_frame段记录每条指令执行后「返回地址相对栈指针偏移多少」,gdb 据此不用帧指针也能展开。优化编译(-O2默认 omit FP)后这是唯一路径;但如果库是第三方 stripped 二进制、连.eh_frame都被 strip 掉,这条路也断。
上图是判断主线:同一个 core,FP 链断了还可以试 DWARF,DWARF 没有还可以靠手工扫栈找返回地址。?? 只是「自动路径全断」,不等于没救。
原因分类与判别
第一类:符号缺失(地址有了,没名字)
现象是栈帧层次结构还在,但函数名全是 ?? 或只有地址。检查:
gdb ./myprog core.1234
(gdb) bt
#0 0x00007f2a1c3d4e in ?? ()
#1 0x0000000000401a2b in ?? ()
(gdb) info files # 看各段映射到哪个文件
(gdb) info symbol 0x401a2b # 查地址对应符号info symbol 报「No symbol matches」而地址落在主程序段,基本可以断定二进制被 strip 过,或 -g 没编进去。动态库帧是 ?? 而主程序帧正常,则是对应的 .so 缺符号——常见于系统库没装 debuginfo 包。
第二类:栈破坏(帧本身推算不出来)
现象是 bt 只有一两帧,或 Cannot access memory at address ...。栈上的返回地址/帧指针被越界写覆盖,gdb 顺链走到垃圾值就停下。判别:看当前崩溃信号是不是 SIGSEGV 且崩在 strcpy/memcpy 一类函数里,再看栈指针附近是否混入可疑 ASCII(越界写的字符串常留有痕迹):
(gdb) x/32gx $rsp # 扫栈上 64 位值,找落在代码段的返回地址
(gdb) info proc mappings # 拿到代码段范围,配合上面过滤第三类:缺帧指针又缺 unwind(可执行文件「裸奔」)
-O2 -fomit-frame-pointer(多数发行版默认)加上 strip 把 .eh_frame 也剥掉的静态二进制,两条路全断,gdb 只能靠启发式猜。嵌入式/手工 ld 链接的产物常见。
排查与解决步骤
按「先救当前 core,再改下一次」的顺序:
- 确认用对二进制:gdb 第一个参数必须是生成 core 的那个可执行文件(带部署时的符号),版本错位会导致全部地址对不上。
file core.1234看execfn,容器环境注意在容器镜像内分析。 - 补符号:主程序 stripped 就找构建时保留的未 strip 副本,或用 符号分离 里
objcopy --only-keep-debug存下的.debug文件,gdb 里symbol-file myprog.debug加载。系统库在 CentOS 用debuginfo-install glibc,Debian/Ubuntu 装libc6-dbg。 - 栈被破坏时手工捞返回地址:用
x/100gx $rsp-0x1000扫一大片栈,把落在代码段(info proc mappings可查范围)的值逐个info symbol,往往能拼出人工版调用链——越界覆盖通常只毁了顶部几帧,深处的老帧还在。 - 交给更强工具:
eu-stack -p <pid>(elfutils)或把 core 丢给coredumpctl gdb(systemd 环境自动配好 debuginfod),debuginfod 能联网按需拉符号,省去手工装 debuginfo。 - 确认是不是内存破坏类 bug:栈都被写穿了,光救 core 不够,得抓凶手。用 AddressSanitizer 重新跑一遍,越界写会在第一现场被拦下,比事后解剖 core 快得多。
防复发:让下一次 core 可直接用
| 措施 | 具体做法 | 代价 |
|---|---|---|
| 保留帧指针 | CFLAGS 加 -fno-omit-frame-pointer | 运行时约 1-3% 开销,x86 上少一个通用寄存器 |
| 保留符号 | 发布用 strip 副本,原件连同 build-id 归档 | 存储成本,几乎零运行时开销 |
| 保留 unwind | strip 时 --strip-debug 而非 --strip-all,留住 .eh_frame | 零 |
| 带 -g | 至少 -g1(行号信息),配合符号分离不影响发布体积 | 构建产物变大 |
| core 自动收集 | 配 systemd-coredump + debuginfod | 见 core dump 完全指南 |
实践上最划算的组合是:-O2 -g -fno-omit-frame-pointer 编译 + 发布前 objcopy --only-keep-debug 分离符号 + 线上跑 stripped 副本。core 拿到手后按 build-id 找回符号文件,bt 永远有名有姓。更多 core 相关工具链可浏览 crash 排查专栏。
坑
- 在笔记本上分析服务器 core,glibc 版本不同导致动态库帧全
??——要么装同版本 debuginfo,要么用 debuginfod。 - 多线程程序忘记
thread apply all bt,出问题的是别的线程,主线程栈自然看不出东西。 - 把
??当成「core 文件损坏」直接放弃——90% 的情况 core 是好的,只是符号/回溯线索缺了。
总结
core 堆栈全是问号分三种病根:符号被 strip(补 debuginfo 或 symbol-file 可救)、栈被越界写破坏(手工扫栈找返回地址,并用 ASan 抓越界源头)、缺帧指针又缺 unwind 信息(改编译选项)。根治靠构建侧三件套——-fno-omit-frame-pointer、-g 加符号分离归档、strip 时留住 .eh_frame,再配 systemd-coredump 与 debuginfod 自动补符号,让每一次崩溃现场都能直接 bt 出完整调用链。