失败归类:回归失败自动分桶的 signature 匹配方法与 triage 效率提升
更新时间:2026-10-02。一次 nightly 回归跑完,3000 个用例挂了 412 个——这 412 条失败里真正需要人看的往往不是 412 个,而是 5 到 10 个。其余的失败全是同几个根因在大量用例上的重复投影:一个 RTL 改动让 AXI 写通道时序错了一拍,于是所有走写路径的用例齐刷刷挂掉,日志长得各不相同,病灶却是同一个。失败归类(failure binning)要解决的就是这件事:在 triage 开始之前,用自动化的 signature 匹配把失败按根因相似度聚成桶(bin),每桶只派一个代表给工程师看。本站的 回归管理与 triage 讲了回归体系的组织方式,覆盖率驱动测试分诊 讲了覆盖率侧的分诊思路;这一篇聚焦其中自动化程度最高、见效最快的一环——失败自动归类的方法与坑。
本文要回答的问题
- 失败归类里的 signature(签名)到底是什么,从日志的哪些字段提取最靠谱?
- 规则匹配、相似度聚类两种路线各适合什么规模的团队?
- 归类错了会怎样:误并桶与漏并桶哪个更伤?
- 桶的生命周期怎么治理,避免签名库三个月后腐化成摆设?
一、为什么人工 triage 扛不住现代回归规模
先看一笔账。一个中等规模 SoC 项目的 nightly 回归在 5000 到 20000 个用例之间,健康期失败率 1% 到 3%,代码大改动合入后可以冲到 10% 以上。按 5000 用例、3% 失败率算,每晚 150 条失败;一个工程师纯人工 triage 一条失败平均 10 到 20 分钟(打开日志、定位首个错误点、判断是新问题还是已知问题、指派或 waive),150 条就是两到三个工程师一整天的工时。而真实情况是这 150 条里往往只有 3 到 8 个独立根因——也就是说 95% 的 triage 时间花在了「重复确认同一件事」上。
失败归类把「逐条看」变成「逐桶看」:系统自动把 150 条失败聚成 6 个桶,工程师每桶看一条代表,确认根因后整桶标记。triage 时间从一天压到一小时以内,这不是渐进优化,是工作方式的变化。没有归类的团队还有一个隐性成本:不同工程师对同一根因的判断口径不一,有人标 RTL bug、有人标环境问题、有人直接 waive,bug 统计失真,管理层看到的失败趋势曲线全是噪声。
二、signature:给每条失败发一张「指纹」
归类的核心概念是 signature(签名)——从失败现场提取的一组特征字段,用来回答「这条失败和那条失败是不是同一个病」。签名设计的质量直接决定归类质量,提取原则是:选「跟着根因走」的字段,避开「跟着用例走」的字段。
实践中性价比最高的签名成分有四类。第一类,首个 UVM_ERROR/UVM_FATAL 的来源组件与消息 ID:同一个 checker 在同一个点报错,是根因相同最强的信号,比如 uvm_test_top.env.axi_wr_agent.monitor 抛出的协议违例。注意要取「首个」错误而不是全部错误——后续错误多是连锁反应,噪声大。第二类,出错消息的模板化文本:把日志消息里的地址、数据、时间戳等变量替换掉(正则把 0x[0-9a-fA-F]+、十进制大数字、仿真时间统一归一成占位符),剩下的骨架文本做哈希。Read data mismatch at 0x1a3f: exp 0x55 act 0x54 和 at 0x77c0: exp 0x01 act 0x00 归一化后是同一条模板,理应同桶。第三类,失败用例的结构属性:测试类型、涉及的接口/代理、使能的功能配置——同一根因通常在同一类配置上成片失败。第四类,RTL/环境的版本差分线索:失败首次出现那晚的提交列表,虽然不直接进签名,但它是桶与代码改动关联的钥匙。
上图是签名提取的标准流水线。最容易踩的坑在模板化那一步:归一化做得不够,变量混进签名,同一个根因因为每次出错的地址不同而被拆成几十个桶,归类退化成没归类;归一化做得太狠,把有区分度的字段也抹掉了(比如把消息 ID 里的错误码也当数字归一了),不同根因被并进一桶。调参标准很朴素:拿一周的历史失败人工标定根因,回测签名方案,看「同根因同桶率」和「异根因异桶率」两个指标。
三、两种匹配路线:规则库先行,聚类殿后
签名提取之后,怎么决定「同桶」?两条路线,按团队规模选。
路线一是显式规则匹配。维护一个签名规则库,每条规则是一个签名模式(正则或字段组合)加桶标签:匹配上「AXI 写通道协议违例 加 monitor 组件 X」就进「wr-proto」桶。新失败进来先过规则库,命中即归类,未命中落入「未分桶」队列等人看;人工 triage 确认根因后,顺手把这条失败的签名沉淀成新规则。规则库路线的优点是行为完全可解释、误并桶可控,缺点是冷启动期规则覆盖率低,头几周未分桶比例可能高达 50%,靠人工 triage 反哺逐步收敛。绝大多数团队应该从这里起步——主流回归管理框架(自研 triage 系统或商业工具如 VCS 的回归管理附件)都支持这种模式,本质上是把工程师脑子里的「这个错我见过的」显式化。
路线二是相似度聚类。把签名向量化(模板哈希、组件路径、配置字段做 one-hot 或嵌入),对未命中的失败按相似度自动聚类,输出「疑似同桶」分组供人工确认。这条路线不需要预写规则,适合日志形态杂、根因模式漂移快的项目,但代价是可解释性差:聚类说这两条像,工程师还得自己看出为什么像,确认成本比规则命中高。务实的组合是:规则库兜住 80% 的已知模式,聚类只处理规则未命中的尾部,且聚类结果必须经人确认才转正式桶。
四、两类错误与桶的生命周期治理
归类系统会犯两类方向相反的错。误并桶(把不同根因的失败塞进同一桶)是危险品:桶代表被 triage 成「环境问题 waive」后,整桶跟着 waive,混在里面的真 RTL bug 被顺手放走——这和 FPV 里过约束「以全绿的形式沉默」是同构的灾难。漏并桶(同一根因拆成多个桶)只是效率损失:多看几条代表,浪费时间但不出事故。两者不对称,调参应该宁可保守:签名条件收紧一点,桶多一点没关系,误并桶率要压到接近零。
桶本身是活资产,需要生命周期管理。每条桶要有状态机:新桶(未 triage)、已确认根因(关联 bug 单)、修复待回归验证、已关闭。关键动作有两个:一是「桶重开」——关联 bug 单标记修复后,下一晚回归里该桶必须空,一旦再有失败命中同一签名,桶自动重开并升级告警,这是防「修了但没修干净」的网;二是「签名库审计」——每月过一遍规则库,删掉连续 30 天无命中的规则(根因早已修复,规则成了死重),合并命中率长期重叠的规则。不审计的签名库半年后全是僵尸规则,新工程师看到 200 条规则不知道该信哪条,系统的可信度就垮了。
这张流程图把前面三节串起来了:匹配在前、人工在后、规则沉淀闭环。落地收益数字上,一个规则覆盖率爬到 85% 以上的归类系统,通常能把 triage 人力压到原来的 1/5 到 1/10,且 bug 归因统计第一次变得可信——失败趋势曲线里「真新增根因」和「老根因复发」分得清清楚楚,回归健康度才算有了可管理的仪表盘。
这一篇在知识体系里的位置
本篇属于 chip-design/verification 目录回归与调试线。向上承接 回归管理与 triage 的整体框架,把其中的「失败分类」一步展开为可落地的自动化方法;与 覆盖率驱动测试分诊 互补,后者从覆盖率漏洞侧驱动补测试,本文从失败侧压缩 triage 成本,两者共用同一套回归数据底座。日志侧的模板化技巧依赖对日志格式的控制,可搭配 SystemVerilog $sformatf 日志格式化 一起看——消息格式规整,签名提取才稳定。调试方法论的整体视角见 验证环境调试方法论。
总结
失败归类的本质是把「412 条失败」还原成「6 个根因」:从首个错误的来源组件、模板化消息文本、用例结构属性三处提取签名,规则库匹配兜住已知模式、聚类处理尾部、人工确认后沉淀新规则形成闭环;调参上误并桶是危险品要压到近零、漏并桶只是效率损失,桶要有「修复验证后关闭、复现自动重开」的生命周期,签名库每月审计清僵尸规则——归类系统做到位,triage 从每天三小时压到半小时,失败趋势曲线第一次能用来管理而不是用来猜。