实战：用 Agent 辅助定位并修复线上故障
系列入口：如何使用 Agent。M9 第 3 篇；方法基础见用 Agent 调试。
一、应急中最重要的是顺序
线上故障和普通调试最大的区别，是时间压力和真实损失——每多一分钟，就有更多用户受影响。这种压力下最容易犯两个错：一是跳过止血、直接在生产上边猜边改；二是被一个看似合理的假设锁死、无视相反证据。
Agent 能极大加快读日志、查代码、生成假设的速度，但它不承担后果、也感受不到压力，所以应急中更要由人牢牢掌控节奏。记住铁律：先止血，再查因；先复现，再动手。
二、第一步：先止血，恢复服务
发现故障后的第一目标不是找到根因，而是尽快让用户恢复正常，因为定位可能需要很久，而止血常常立竿见影。
常见止血手段：回滚最近的发布或变更（故障与某次发版高度相关时，这是最快的）、降级或关闭出问题的功能开关、限流或熔断挡住异常流量、扩容应对突发负载。让 Agent 帮你快速核对"最近改了什么、有哪些开关、回滚步骤是什么"，但执行止血的决策和操作必须由人确认——尤其涉及生产环境，绝不能让 Agent 自动去回滚或重启。
止血时同步判断影响面：哪些用户、哪个功能、从什么时间开始、是否还在扩大。这些信息决定后续优先级，也避免"局部好了、整体没好"的误判。
三、第二步：保护现场
在回滚或重启之前，尽量保留排查所需的现场，否则关键证据会随进程一起消失。
包括：错误日志和堆栈、相关监控曲线（错误率、延迟、CPU/内存、依赖服务状态）、当时的请求样本和参数、以及正在执行的任务或队列状态。让 Agent 帮你把这些分散信息快速归集、按时间线整理，但注意只读采集、不要为了取日志而做出加重故障的操作。
一个好习惯是边处置边记录时间线：几点告警、做了什么动作、症状如何变化。这既是当下协同所需，也是事后复盘最可靠的材料。现场一旦丢失，再回头定位往往要靠猜，难度陡增。
四、第三步：在非生产环境复现
止血后，进入定位。先复现，再分析——不能稳定复现的问题，任何"修复"都是赌博。
让 Agent 协助从日志中提取触发条件：什么请求、什么参数、什么数据状态、走了哪条路径。然后尽量在测试或预发环境用相同条件复现。复现出来后，你就有了一个可以反复试验、快速验证假设的安全环境；若暂时无法复现，就让 Agent 帮忙分析日志覆盖不到的可能路径，但结论要明确标注"未证实"。
这一步要警惕 Agent 把"日志里出现过的关键词"当成病因——错误信息可能只是下游症状。要顺着复现→定位→假设→验证的闭环，往上游追真正的触发点，而不是停在第一个报错处。
五、第四步：假设—验证，定位根因
有了复现，让 Agent 提出候选假设并排序，但每个假设都必须经过验证，而不是听它说得像就信。
可以让它针对相关代码解释：在这个输入下数据如何流动、哪个条件会导致观察到的症状、涉及哪些边界（空值、并发、超时、重试）。然后用实验逐一验证：加日志、最小改动触发、对照正常与异常输入。关键是找到能解释全部现象、且能预测行为的根因，而不是修掉一个表面症状。
人在这里要守住两件事：一是不让 Agent 同时改好几处"可能有关"的东西——那会让你无法确定到底哪处起效；二是当证据与当前假设矛盾时果断换假设，而不是固执加码。一次只改一个变量，结论才可追溯。
六、第五步：谨慎修复、回归与复盘
根因确认后再修复，修复同样要克制：只改导致根因的最小范围，不在应急里夹带重构。
让 Agent 先写一个能复现该故障的回归测试（修复前应失败、修复后变绿），再做修复，确保这个问题不会卷土重来；然后跑全量测试和构建，确认没有为修 A 破坏 B。上线修复走正常发布、灰度并密切观察，保留快速回退手段。
事后做无指责复盘：根因是什么、为什么没被提前发现、监控/测试/流程哪里有缺口、如何防止复发——并把其中可自动化的防线（告警、校验、回归用例）补上。让 Agent 协助整理时间线和报告，但复盘的反思和改进行动由团队承担。
七、压力下如何保持清醒判断
应急中真正的挑战往往不是技术，而是高压下的认知偏差。意识到它们，才能不被带偏。
锚定效应最常见：第一个提出的假设（"是不是刚发版导致的？"）会像锚一样把所有人锁在它上面，即便证据对不上也倾向于强行解释。对策是有意识地让 Agent 同时给出多个候选假设并排序，强迫自己考虑替代解释。确认偏差紧随其后：一旦相信某假设，人会不自觉地只注意支持它的日志、忽略矛盾信号。应反过来主动寻找"能推翻假设"的证据，而不是印证它。
从众与权威压力也会扭曲判断：领导或资深同事说了一个方向，新人即使看到反常也不敢说。健康的应急氛围应鼓励任何人随时抛出"我注意到一个对不上的现象"。时间焦虑则诱使人跳过验证、赌一把。这恰恰是最该守住"一次只改一个变量、先复现再动手"的时刻。让 Agent 承担"冷静的第二大脑"——它不紧张、不会累，可以帮你把现象、假设、证据整理成清晰列表，而人负责在压力下坚持纪律。应急能力的高低，更多体现在这种心态管理，而非谁懂得多。
八、Agent 在应急中能做与不能做
| 可以让它做 | 不应让它做 |
|---|---|
| 快速归集日志、整理时间线 | 自行在生产执行回滚/重启/写入 |
| 解释相关代码、提出候选假设 | 未经证实就断言根因 |
| 协助复现、写回归测试 | 同时改多处、夹带重构 |
| 协助整理复盘报告 | 决定"是否关闭告警/结束应急" |
八、常见问题
Q：故障和某次发布明显相关，还要查根因吗？ 先回滚止血是对的，但仍应在非生产环境复现、弄清根因再重新发布，否则带着问题再上线可能复发。
Q：Agent 给的假设听起来很对，能直接改吗？ 不能。应急中再合理的假设也要先复现、用最小实验验证；未经验证就改生产，是事故扩大的常见原因。
Q：无法复现的偶发问题怎么办？ 补强现场采集和监控，保留更多下次触发时的证据；可先加防御性处理和告警，但要如实说明这是缓解、根因尚未确认。
Q：复盘会变成追责怎么办？ 坚持无指责、对事不对人，聚焦系统与流程缺口；追责文化会让大家隐瞒信息，反而增加下一次事故概率。
九、把一次故障转成长期防线
应急结束、服务恢复并不代表工作完成，真正的收益来自把这次故障转化为防止复发的系统性防线。
复盘后可以沿几条线加固：监控补盲——这次为什么没更早发现，是缺告警、阈值不合理、还是覆盖不到该指标，对症补上，让同类问题下次在影响用户前就被察觉。测试回归——把触发故障的输入做成回归用例，纳入 CI，确保修复不被日后回退。流程堵漏——如果根因涉及发布、评审、配置变更的缺口，就在对应环节加校验或审批，而不是只靠"下次小心"。
架构缓解——对反复出问题的脆弱点，考虑降级、熔断、幂等、隔离等结构性改进，降低同类问题的爆炸半径。让 Agent 协助整理时间线、生成报告和草拟改进项，但选择做什么、优先级如何由团队定。衡量一次应急水平的，不只是多快恢复，更是复盘后有多少防线被真正建立，使整个系统的韧性实实在在地提高，而不是简单地扑灭了这一次火。
十、应急中的角色分工
多人协同处置时，清晰分工能避免混乱，也让 Agent 更好地嵌入团队。
指挥者：统揽全局、做止血和升级决策、控制节奏，避免多人同时操作互相干扰。操作人：执行回滚、重启等动作，严格按确认后的步骤进行。排查人：与 Agent 一起分析日志、提出并验证假设——Agent 在这里充当实时的代码和日志分析助手。记录人：维护时间线、归集证据，也负责对外同步进展。
关键纪律是任何对生产的实际变更都经过指挥者确认后由专人执行，Agent 可以建议步骤、但不直接触碰生产；信息从现场到假设到决策在一条线上流动。复盘时再基于完整时间线还原全过程。分工的价值在于让高压下的动作收敛为有序协同，每个人（包括作为工具的 Agent）都清楚自己的边界，应急才不会因手忙脚乱而扩大。
十一、偶发与不可复现问题的处理
并非所有故障都能干净复现，对偶发问题硬赌修复往往越弄越糟，需要不同策略。
先补观测：在疑似路径增加日志和监控，让下次发生时留下足够证据，而不是凭这次残缺线索硬猜。可先做安全缓解：加防御性判断、限流、超时保护以降低危害，但要明确这只是缓解、根因未确认。分析共同条件：让 Agent 帮你从多次零星记录里找共性（时段、数据特征、依赖状态），共性往往指向并发、资源或外部依赖问题。不要关闭告警了事：在根因清楚前保持可见性。
十二、修复后的观察与回退
修复上线不等于结束，要按预案确认线上真正稳定。
灰度或分批发布后，紧盯错误率、延迟和相关业务指标一段时间，确认症状消失且无新异常；保留快速回退开关，一旦不对立刻撤回。用预先准备的回归测试和监控双重确认。只有观察期平稳，应急才算真正收尾，团队也才从这次故障中带着更强的防线离开。
十三、无指责复盘的正确姿势
复盘若滑向追责，人们会隐瞒信息，系统反而更脆弱；坚持无指责才能挖到真正的根因。
聚焦"为什么系统允许错误发生"而非"谁犯了错"：追问为什么监控没更早报警、为什么测试没拦住、流程哪里有缺口，再把改进落实到监控、回归和流程。让每个人都能安全地说出自己当时的判断和疑虑。事故是系统给你的免费（尽管昂贵）一课，复盘的产出应是更坚固的系统，而不是一个被责怪的人。 当团队习惯这种文化，真实信息才会流动，每一次故障都真正转化为韧性的提升。
Q：止血和查因必须完全分开吗？ 原则上先止血，但小团队可并行——一人主导恢复、一人同步采集现场；要避免的是为了"顺便看原因"而拖延止血动作，恢复服务始终是第一优先级。
十四、检查清单
- 已优先止血（回滚/降级/限流），决策由人确认。
- 已保留日志、监控、请求样本并记录时间线。
- 已在非生产环境复现，假设经最小实验验证。
- 修复最小克制，有回归测试，全量验证后灰度发布。
- 已做无指责复盘并补上监控/测试/流程防线。
总结
用 Agent 处理线上故障，要害是用人的纪律驾驭它的速度：先回滚或降级止血、由人确认每一个生产动作，同时保护日志现场、记录时间线；再在非生产环境复现、按假设—验证闭环一次只改一个变量地追到能解释全部现象的根因，最后用回归测试锁定、最小修复、灰度上线，并做无指责复盘把防线补起来；Agent 负责加快信息整理与分析，永远不替人做要承担后果的决定。