TTS 两阶段推理:声学模型加声码器的流式首包时延与 chunk 粒度权衡
更新时间:2026-10-03。这条「生成式推理时延」线索上,我们已经在 LLM 侧讲过 LLM serving 的 TTFT 与 TPOT(首 token 与逐 token 时延怎么拆),也在语音输入侧讲过 Whisper ASR 流式推理(识别端怎么切窗)。语音合成(TTS,text-to-speech)是镜像问题:它不是吐 token 而是吐波形,主流方案是两阶段——声学模型先把文本转成梅尔频谱(mel spectrogram,一种按人耳频率刻度压缩的时频表示),声码器(vocoder)再把梅尔谱上采样成 16k/24k/48kHz 的 PCM 波形。TTS 推理优化的核心矛盾是:用户按下播放键到听到第一个音的首包时延,被两阶段串行叠加,而切 chunk 流式输出是降首包的唯一抓手,chunk 粒度又同时决定音质和吞吐。这篇把这笔账算清楚。
本文要回答的问题
- TTS 两阶段各自的计算特征是什么,为什么首包时延是两段相加而不是取大?
- 流式 TTS 的 chunk 应该按什么单位切——字符、帧还是毫秒?
- chunk 粒度调小为什么首包降了、音质和吞吐却可能双输?
- 声码器跨 chunk 的边界 artifact(爆音、相位不连续)从哪来,怎么消?
- 两阶段流水线怎么重叠,把稳态时延压到接近单阶段?
一、两阶段的计算画像:一个吃序列,一个吃上采样
先把两个阶段的算力特征摆清。以 FastSpeech 2 加 HiFi-GAN 这对经典组合为例(VITS 这类端到端模型内部同样是「谱生成加波形合成」两段,只是合成在一个网络里):
- 声学模型:输入是音素或字符序列,输出梅尔谱。非自回归模型(FastSpeech 2)一次并行出整句谱,耗时随文本长度近线性;自回归模型(Tacotron 2)逐帧解码,耗时随谱帧数线性且每帧一步,长句明显更慢。谱帧率典型 50-100 帧/秒音频,即一帧对应 10-20ms。
- 声码器:输入梅尔谱,输出波形。HiFi-GAN 类 GAN 声码器用转置卷积把 80 维谱上采样 256-300 倍到波形采样点,计算密度高但结构规整、无数据依赖,GPU 上可以把整段谱当一个大卷积批打满。扩散式声码器音质更好但要多步迭代,单 chunk 耗时高一个数量级,流式场景很少直接上。
关键的不对称在这里:声学模型按帧算(一帧 10-20ms 音频),声码器按采样点算(一秒音频 24000 个点)。同样产 1 秒音频,声码器的 FLOPs 往往占整链路 60% 以上。这个比例决定了后面 chunk 调度的一切取舍。
二、首包时延的构成:两段串行相加
非流式 TTS 的总时延是「整句声学模型 + 整句声码器」,用户要等全部算完才出声,长句动辄两三秒,不可用。流式的做法是把文本切成 chunk,第一个 chunk 走完两阶段就立刻把波形推给播放器。首包时延(TTFB,time to first byte/audio)因此是:
TTFB = T_acoustic(chunk_1) + T_vocoder(chunk_1) + T_network注意是相加不是取大——chunk_1 的谱不出完,声码器没有输入可算(除非声码器内部再切窗流式,见第五节)。这与 LLM 的 TTFT 结构同构:LLM 是 prefill 整段 prompt 后出第一个 token,TTS 是「prefill」第一个 chunk 的谱后出第一段波形,对照 LLM serving 的 TTFT 与 TPOT 里的拆法可以直接平移。
上图是首包路径:chunk_1 必须串行穿过两级,后续 chunk 才能进入与播放并行的稳态。所以降 TTFB 的全部手段都收敛到两件事——把 chunk_1 切小、把两阶段各自的单 chunk 耗时压低(算子融合、半精度、TensorRT 化的思路与 TensorRT-LLM in-flight batching 同属一套工具箱)。
三、chunk 粒度:首包、音质、吞吐的三方拉扯
chunk 按什么切?工程上有三档常见粒度:
| 粒度 | 典型大小 | 首包时延 | 音质 | 吞吐 |
|---|---|---|---|---|
| 整句 | 3-10 秒音频 | 差(1-3s) | 最好 | 最好 |
| 分句/短语 | 300-800ms 音频 | 好(200-500ms) | 边界有轻微 artifact | 中等 |
| 固定帧窗 | 50-200ms 音频 | 极好(<150ms) | 边界爆音风险高 | 差(kernel 打不满) |
三股力量方向相反。首包侧,chunk 越小 TTFB 越低,近似与 chunk 时长成正比。音质侧,声学模型的时长与韵律预测依赖上下文——在句子中间硬切,切点两侧的停顿和语调会被模型按「句中」处理,听感发飘;声码器侧更直接,转置卷积的感受野跨数十个谱帧,chunk 边界处的帧缺少右侧上下文,上采样出的波形在接缝处有相位不连续,听感是周期性轻微爆音。吞吐侧,chunk 越小每次推理的 batch 越碎,GPU kernel 启动与显存搬运的固定开销占比升高,单卡并发路数掉得明显——这与 kernel 启动开销与算子融合 讲的是同一个固定成本摊薄问题。
工程上的甜点一般是按标点切、设上下限:在逗号句号处切,单个 chunk 钳制在 200-600ms 音频之间。中文场景一个实用近似是按字符数预估(约 4-6 字/秒语速),凑满下限且遇到标点就切。这样首包压在 300ms 上下,边界切在天然停顿处,artifact 最不容易被听出来。
四、边界 artifact 的消除:重叠上下文与交叉淡化
如果负载必须用小 chunk(实时对话、数字人唇形同步),边界问题就绕不开,两种标准解法:
上下文重叠(context padding)。每个 chunk 推理时左右各多带 K 帧谱(HiFi-GAN 下 K 取 10-30 帧即可覆盖感受野),声码器输出后把两头各 K 帧对应的波形裁掉,只保留中间「上下文完整」的部分。代价是每 chunk 多算 2K 帧的冗余——chunk 越小冗余占比越高,100ms chunk 配 30 帧上下文意味着约一半算力花在会被裁掉的帧上。
交叉淡化(cross-fade)。相邻 chunk 的输出波形在接缝处保留一小段重叠(5-20ms),前段线性渐弱、后段线性渐强相加。实现便宜、对相位不连续有立竿见影的掩盖效果,但治标:如果声学模型在边界处的谱本身就预测错了,淡化只是把爆音变成短暂的音色模糊。
生产系统通常两者叠加:声学侧重叠上下文保证谱本身正确,声码器侧留短交叉淡化兜底残余不连续。VITS 类端到端模型则把重叠做在隐变量层,原理相同。
五、稳态流水线:让两阶段重叠起来
首包之后进入稳态,目标变成「合成速度持续快于播放速度」(实时率 RTF < 1)加「端到端时延尽量低」。两阶段的天然流水线结构是:chunk_n 在声码器里合成时,chunk_{n+1} 同时进声学模型。两者耗时不同(声码器是瓶颈段),稳态吞吐由声码器段决定,声学模型段有富余。
上图两列是同一时刻并行推进的两段:声学模型始终跑在声码器前面一个 chunk,播放缓冲只囤 1-2 段波形。缓冲水位是最后一道权衡——数字人、实时对话把水位压到一段(甚至半段加丢帧降级)保时延;有声书、播报类放到 3-5 段抗 GPU 抢占抖动。更高阶的做法是声码器内部再按谱帧开窗流式,chunk_1 的谱出一帧就喂一帧,把第二节公式里的串行相加进一步压成「声学首帧加声码器首窗」,TTFB 可再降 30-40%,代价是声码器实现复杂度显著上升。
这一篇在知识体系里的位置
本篇是「生成式推理时延」线索在语音合成侧的一块。同线索对照:LLM serving 的 TTFT 与 TPOT(时延指标拆法同源)、Whisper ASR 流式推理(语音链路另一头的切窗)、KV cache 与推理显存(自回归声学模型的显存账可对照)。工程手段层面对照 TensorRT-LLM in-flight batching 与 kernel 启动开销与算子融合。
总结
TTS 两阶段推理的首包时延等于第一个 chunk 串行穿过声学模型与声码器的耗时之和,降首包的唯一抓手是切小 chunk 并让两阶段流水线重叠,但 chunk 越小,边界 artifact 越重、GPU 固定开销占比越高,工程甜点是按标点切、钳制在 200-600ms 音频,配合上下文重叠消爆音、1-2 段播放水位抗抖动,把 TTFB 压进 300ms 而音质与并发不受实质性损伤。