压测 trace 回放:用真实流量记录做推理服务压测的方法与保真度控制
更新时间:2026-10-07。前面 LLM 推理压测方法论 讲过合成负载压测的指标体系,推理服务容量规划 讲过容量结论怎么落地。本篇解决两者之间的一个断层:合成负载的形状是假的,结论能不能信?压测 trace 回放就是用线上真实流量的记录重新打一遍,让压测输入在到达节奏和长度分布上都逼近生产。
本文要回答的问题
- 压测 trace 回放相比合成负载压测,多保真了什么、又漏了什么?
- 一份可回放的 trace 要记录哪些字段,怎么采集才不伤线上?
- 回放器按什么节奏发请求,开环和闭环差别在哪?
- 怎么量化「这次回放像不像线上」,保真度看什么指标?
一、为什么要回放:合成负载的三个谎言
合成负载压测(固定 prompt 长度、固定 QPS、泊松到达)是行业默认起点,但它对推理服务撒了三个谎。
其一,长度是重尾的。真实 prompt 长度分布往往是「大量几百 token 的短请求 + 一条拖到 32K 的长尾」,而长请求对 TTFT(首 token 延迟)和 KV 显存的冲击是非线性的。用等长 2K 合成 prompt 压出来的 P99,线上一个 16K 请求就能打穿。
其二,到达不是匀速的。真实流量有分钟级的毛刺和小时级的潮汐:促销推送后 30 秒内 QPS 翻 4 倍是常态。匀速 100 QPS 压测看不到排队雪崩,而雪崩恰恰是容量规划的边界。
其三,输入输出是相关的。真实流量里长 prompt 往往配长输出(文档总结),短 prompt 配短输出(闲聊)。合成负载把两者独立采样,会系统性低估 KV cache 的峰值占用——vLLM 这类引擎的抢占行为在失真负载下根本不会被触发。
压测 trace 回放治的就是这三个谎:把线上某段时间窗内每个请求的时间戳、输入 token 数、输出 token 数记下来,离线按原节奏、原长度重新打。代价是准备工作量上去了,换来的是压测结论可以拿去定容量。
二、trace 采集:记什么、怎么记
一份最小可用的 trace 每行一条请求,字段不需要多,五个就够。
| 字段 | 说明 | 缺失的后果 |
|---|---|---|
| timestamp_ms | 请求到达网关的毫秒时间戳 | 无法还原到达节奏,退回匀速 |
| input_tokens | prompt 的 token 数 | 长度分布失真 |
| output_tokens | 实际生成的 token 数 | 无法控制回放时长 |
| session_id(可选) | 多轮对话归属 | 多轮前缀缓存行为失真 |
| model / 路由标签 | 多模型服务时的路由依据 | 混合流量比例失真 |
有两个字段不要记:prompt 原文和生成原文。一是隐私合规风险,二是回放并不需要原文——对压测而言,prompt 的具体内容只通过长度影响负载,用等长的填充文本(比如重复的真实语料片段)效果几乎一样。如果真在意 prefix cache 命中率,可以给每条请求附一个「前缀分组号」,回放时同组请求共享一段公共前缀,就够了。
采集位置推荐在 API 网关或推理服务入口的异步日志里做:命中 access log 格式扩展,把 token 数写进结构化字段,落盘后离线裁剪成 trace 文件。不要在请求处理路径上同步写盘——一次 5 毫秒的日志抖动发生在 P99.9 上就是事故。采样窗口建议覆盖至少一个完整的业务周期(C 端产品 24 小时、B 端一个工作周),窗口太小会丢掉潮汐形状。
三、回放器设计:开环按时间戳,闭环保并发
回放器的核心决策是开环还是闭环。
开环回放:严格按 trace 里的时间戳差值发请求,不等上一个请求返回。线上 10:00:00.000 来了请求 A、10:00:00.080 来了请求 B,回放器就在 80 毫秒间隔处发出 B,哪怕 A 还没回完。这还原的是「到达过程」,是容量压测的正确姿势——你要测的是服务在真实到达压力下撑不撑得住,而不是客户端能耐着性子等多久。
闭环回放:维持固定数量的并发连接,一个请求返回立刻补下一个。这还原的是「用户行为」,适合测吞吐上限,但它有自调节效应:服务变慢时闭环会自动降压,把雪崩藏起来。拿闭环结果做容量规划是常见错误。
图里是开环回放器的标准结构:调度器只负责「到点发」,构造器负责把长度字段变成真实 HTTP 负载,观测侧独立打点。要点在调度器的实现——用单个事件循环按堆排序的时间戳触发即可,不要用「每请求一个线程 sleep」的土办法,万级请求时线程调度抖动会污染到达节奏,人为制造失真。
输出长度的还原有个细节:推理服务生成多少 token 由模型决定,不由客户端决定。回放时通常用 max_tokens = trace 里的 output_tokens 加 ignore_eos 类参数强制生成到指定长度,vLLM 的 benchmark 脚本就是这么做的。否则模型提前吐出 EOS,整条 trace 的输出分布整体偏短,KV 占用时间被低估。
放大与缩小也是常规需求:想用昨天的流量压出 1.5 倍峰值,就把所有时间戳间隔除以 1.5(长度字段不动)。注意这只放大到达率,不放大单请求成本——它是「更多人同时来」的模型,符合大多数容量外推场景。
四、保真度评估:回放像不像,看三张分布图
回放完不能直接看延迟结果,先回答「这次回放像不像线上」。推荐三个对照检查,都是把回放期间服务侧观测分布与 trace 期望分布叠在一起看:
| 检查项 | 期望 | 失真信号 |
|---|---|---|
| 到达 QPS 时间序列 | 与 trace 每分钟计数误差 < 5% | 回放器自身抖动或连接池瓶颈 |
| 输入长度分布 | 直方图分桶误差 < 10% | 构造器 tokenizer 与线上不一致 |
| 并发水位曲线 | 与线上同期曲线形状一致 | 服务饱和后排队,进入「测不动」区 |
第三条最容易踩:当服务已经饱和,请求排队,实际生效的负载就不再是 trace 的形状,而是服务自己吞吐的形状。这时记录的延迟数据反映的是排队而不是容量。判据是看服务端在途请求数是否长期顶在调度上限——顶住了就说明该轮回放只给出了「不够」这一个结论,具体差多少要降档重放。
还有一个隐蔽失真源是 tokenizer 不一致:trace 里的 input_tokens 是线上模型 tokenizer 数的,回放用另一套填充文本,如果填充文本经同一个 tokenizer 切出来长度对不上,整个长度分布就平移了。做法是对每条 trace 记录生成填充文本后先过一遍 tokenizer 校验,偏差超过 5% 就调整文本。
五、落地清单与常见陷阱
一套可复用的回放流程长这样:线上网关落 token 字段日志 → 离线脚本按窗口裁剪成 trace(JSONL 一行一条)→ tokenizer 校验与填充文本生成 → 开环回放器按时间戳驱动 → 服务侧 Prometheus 打点与回放器侧打点双采 → 三张分布图对照验收 → 才轮到看 TTFT/TPOT 分位数。观测栈的搭法见 LLM 推理观测体系,指标口径沿用压测方法论一篇的分位数定义。
最后列三个真实踩过的坑。其一,回放机自己成了瓶颈:万级 QPS 下回放器的网卡或连接池先打满,到达节奏被压扁,对策是多机回放加 NTP 对时。其二,拿高峰 trace 配低谷环境:被测集群如果混部着别的负载,回放结论带上环境噪声,压测环境必须隔离。其三,trace 复用过期:业务上线新功能后 prompt 长度分布变了,三个月前的 trace 压出来的容量结论已经失效——trace 和模型版本一样,是有保质期的。
这一篇在知识体系里的位置
本篇是推理服务压测线的方法篇:上游 LLM 推理压测方法论(指标与合成负载基线);下游 推理服务容量规划(用回放结论定副本数);同层 LLM 推理观测体系(回放期间的指标采集)。
总结
压测 trace 回放的本质是把「合成负载的形状谎言」换成「真实流量的记录重放」:trace 只需时间戳、输入输出 token 数五个字段、不记原文;回放用开环按时间戳驱动、max_tokens 强制还原输出长度;验收先看到达节奏、长度分布、并发水位三张对照图确认保真,再看延迟分位数下容量结论;记住 trace 有保质期,饱和后的回放数据只说明「不够」不说明「差多少」。