极客工场

Appearance

共 3,154 字预计阅读约 11 分钟

FPGA 原型验证专题 54：原型平台运营指标看板——用数据而不是感觉管理一条原型产线 ​

更新时间：2026-09-13。本文是模块 F（规模化、云化与工程运营） 第九篇。46 编译农场与周转时间 OOC/增量/seed 扫掠~53 比特流回归与冒烟自动化农场 硬件 CI/门禁 搭好了编译、调度、远程、云、回归这些系统；系统跑起来会持续产生数据。本篇回答管理者的问题：怎么用这些数据，而不是感觉，来判断产线健不健康、该不该扩容、能不能流片。

一、为什么没有度量就没有运营 ​

原型平台的投入极大（机柜、license、云、人），但多数团队对其运行状况只有模糊印象：

度量的目的不是考核个人，而是让系统性瓶颈和风险可见、可改善、可预测。

二、四族指标：产能、质量、效率、成本 ​

2.1 产能族（我们产得出多少） ​

  • 构建吞吐：每日/每周成功比特流数、按项目/分支分；
  • 周转时间 TAT 的分段：排队→构建→等板→上板，分位值（P50/P90，不要只看均值，长尾才是痛点）；
  • 板卡利用率：真实占用（有心跳且非空转）/ 可分配时间（88 篇租约数据），区分“占用”与“有效使用”；
  • 回归执行量：每日用例次数、冒烟/功能/长稳分布（94 篇回归系统）。

2.2 质量族（产出的东西可信吗） ​

2.3 效率族（卡在哪、等多久） ​

  • 排队等待时间：等构建槽、等板、等 license 的时间占比；
  • MTTR（平均修复时间）分段：报告→分诊→定位→修复→回归→关闭，每段耗时（92 篇状态机天然埋点）；
  • 占用空转率：持有租约但无心跳/无活动的时间（囤板识别）；
  • 在制品 WIP：同时进行未关闭的调试主题数，过多则上下文切换拖慢所有人。

2.4 成本族（值不值） ​

  • 单位验证机时成本：（硬件折旧+license+云+电+运维）/ 有效机时；
  • 云 vs 自建支出与占比、云溢出触发频率（85/90 篇）；
  • license 利用率/拒绝率：槽位是否是瓶颈（87 篇）；
  • TCO 与单位缺陷成本：把成本和质量放到同一张表，避免只省钱不管质量。

三、数据必须自动采，不能靠人填表 ​

指标系统的铁律：凡是需要人手工定期填表的指标，三个月后一定失真。 所有指标都应从已有系统自动埋点汇聚：

FPGA 原型验证专题 54：原型平台运营指标看板——用数据而不是感觉管理一条原型产线 示意图（第 2 张）
  • 87 农场给构建段数据，88 调度给利用/排队，94 回归给质量，92 缺陷库给 MTTR，云账单/资产库给成本；
  • 统一打上项目、团队、平台、版本标签，才能下钻和交叉分析；
  • 指标库用时序存储，看板看趋势和分位而非单点。

四、反身性陷阱与虚荣指标 ​

度量一旦用于考核，人就会优化数字而非目标（古德哈特定律）：

  • 考核构建数 → 刷无意义构建；考核 bug 关闭数 → 草率关闭、重开率上升；
  • 只看板卡利用率 → 为高利用率拒绝合理空闲/维护，反而制造排队；
  • 对策：①指标成对看（数量配质量，如关闭数配重开率；利用率配等待时间）；②指标主要用于改善系统，不用于个人排名；③警惕虚荣指标——总数、累计量好看但不可行动；要选能直接指向一个改进行动的指标（如“P90 等板时间”高→增板或治囤板）。

五、北极星指标与一个健康度公式 ​

不要让看板被几十个数淹没。为平台选一个北极星指标，最有代表性的是：

bash
有效验证吞吐 = (单位时间内、在可信镜像上完成的、能产出结论的验证活动)

它同时约束“产得出（TAT/产能）”“可信（通过率/flake）”“有效（产出结论而非空跑）”。辅助一个流片就绪健康度：

bash
就绪度 = f(功能回归通过率, 阻塞缺陷=0, flake 全部有结论,
           覆盖率达标, 逃逸缺陷收敛趋势, 关键场景长稳通过)

就绪度不达标时看板直接显红，作为流片评审的客观输入（41 原型在 SoC 验证矩阵中的定位 用例分配/RACI/证据移交）。

六、看板分层：同一套数据，四种视角 ​

  • 工程师视图：我的构建/占用的板/分派给我的缺陷及当前阶段/今天的回归，解决“我现在该干啥、卡在哪”；
  • 项目经理视图：本项目 TAT 趋势、阻塞项、缺陷老化（aging）、里程碑就绪度，解决“项目健不健康、风险在哪”；
  • 平台负责人视图：全局利用率/排队/flake/成本、瓶颈段位、扩容信号，解决“资源怎么调、买不买”；
  • 流片评审视图：只放质量门和就绪度，过滤过程噪音，解决“能不能签”。

一层数据、不同聚合，避免为不同领导做不同口径的“专用 PPT”。

七、用指标做持续改善（不是为了看） ​

看板的价值在驱动改进闭环：①发现异常（P90 等板飙升）；②下钻定位（哪类板、哪个团队、是否囤板空转）；③采取行动（释放僵尸租约/增板/调配额，88 篇）；④观察指标是否回落。典型改善杠杆与指标对应：

  • 限制在制品 WIP → 降低多任务、缩短 MTTR；
  • 治囤板（空转率）→ 等效“凭空增加板卡”，利用率和排队同时改善；
  • 压构建长尾（P90 TAT）→ 全员迭代节奏变快（87 篇改造）；
  • flake 归零文化 → 提升结果可信度，减少无效重跑。

八、落地路线（小步，不追求一步到位） ​

  1. 先自动采 3 个最痛指标：板卡利用率、构建 P50/P90 TAT、回归通过率+flake；
  2. 做一面“真实状态墙”（占用/排队/失败），先服务一线；
  3. 接缺陷库补 MTTR 分段与重开率；
  4. 接成本/云账单补单位机时成本与 TCO；
  5. 定义就绪度公式接入流片评审；
  6. 固定节奏（周/里程碑）复盘指标、驱动改善，而非建好看板就结束。

九、常见坑速查 ​

  • 靠人填表 → 必然失真，全部从系统自动埋点；
  • 只看均值不看分位 → 长尾痛点被平均掩盖；
  • 指标用于个人排名 → 数字被刷，系统行为扭曲；
  • 看板堆满虚荣总数 → 只留可行动指标，成对看；
  • 建好看板不闭环 → 必须“异常→下钻→行动→回看”；
  • 流片靠会议感觉 → 就绪度公式显红/显绿做客观门。

与系列及现有篇目的链接 ​

总结 ​

一句话总结：规模化原型平台不能凭“好像忙、板好像不够、bug 好像慢”管理，要建立自动采集、分层呈现并驱动改善闭环的运营指标看板——指标分四族：产能（每日成功比特流与构建吞吐、TAT 的排队/构建/等板/上板分段 P50/P90 分位、区分有心跳非空转的真实板卡利用率、回归执行量）、质量（一次回归通过率及趋势、flake 率、通过原型后才在仿真/硅后发现的逃逸缺陷这一衡量原型挡 bug 能力的终极指标、缺陷重开率）、效率（等构建槽/板/license 的排队时间、报告到关闭按状态机分段的 MTTR、持有租约却无活动的占用空转率即囤板、并行未关闭主题 WIP）、成本（单位有效验证机时成本、云自建占比、license 利用/拒绝率、结合质量的 TCO 与单位缺陷成本）；铁律是所有指标必须从编译农场、调度器、回归系统、缺陷库、云账单自动埋点汇聚并打项目/团队/平台/版本标签入时序库，任何靠人定期填表的指标三个月必失真；要警惕古德哈特反身性陷阱（考核什么就被刷什么，如考核关闭数导致草率关闭），对策是指标成对看（关闭数配重开率、利用率配等待时间）、主要用于改善系统而非个人排名、拒绝只好看不可行动的虚荣总数；用一个同时约束产得出、可信、有效三方面的北极星指标“单位时间在可信镜像上完成且产出结论的验证活动”统领，并定义由功能通过率、阻塞缺陷为零、flake 全部有结论、覆盖率达标、逃逸收敛、关键场景长稳通过构成的流片就绪度公式，不达标显红作为评审客观输入；同一套数据按工程师（我的构建/板/缺陷）、项目经理（TAT/阻塞/老化/就绪）、平台负责人（全局利用/排队/flake/成本/扩容信号）、流片评审（只看质量门）四种聚合视角呈现；看板必须走“异常→下钻→行动→回看”闭环（限制 WIP、治囤板等效增板、压 P90 构建长尾、flake 归零），落地按“先自动采利用率/P90TAT/通过率三指标→真实状态墙→接缺陷 MTTR→接成本 TCO→就绪度进流片门→固定复盘”小步推进，而不是建完大屏就结束。