LLM 推理成本模型:从 GPU 时价、吞吐与 SLO 达成率折算单 token 成本与 TCO
更新时间:2026-10-04。这是一篇枢纽文:站内已有一批 LLM 推理长尾深文——推理容量规划、batch-延迟-吞吐曲线、GPU 功耗墙对延迟的影响、MIG 与 MPS 切分部署——每篇都在回答「怎么把服务跑好」。这篇换一个更靠近钱袋子的视角:怎么把「跑好」折算成「花多少钱」。LLM 推理成本模型要做的事,就是把 GPU 时价、实测吞吐、SLO 达成率这三个工程师手里的数字,翻译成管理层能用来拍板采购和定价的单 token 成本与总体拥有成本(TCO,Total Cost of Ownership)。
本文要回答的问题
- 为什么「GPU 时价除以标称吞吐」算出来的单 token 成本几乎总是偏乐观?真实的折算链有哪几环?
- SLO 达成率怎么进入成本公式——为什么用 goodput 而不是 raw throughput 做分母?
- 同一套模型,换 batch 策略、换切分方式、换功耗上限,单 token 成本会差出多少?
- 从单 token 成本到 TCO,还要把哪些「非 GPU」的开销加回来?
- 自建裸机、云上按需、云上预留、第三方 API 四条路线,怎么用同一套模型横向比价?
一、LLM 推理成本模型的基本公式:一条四环节的折算链
先给最朴素的算法:一张 H100 按需时价 3 美元,官方资料写某模型能跑 3000 token/s,那么单 token 成本 = 3 美元 / 3600 秒 / 3000 token ≈ 0.00000028 美元,百万 token 约 0.28 美元。这个数错得离谱,线上实测往往是它的 3 到 8 倍。差距来自折算链上被省略的三个环节:有效吞吐折损、SLO 过滤、利用率折损。
上图是完整折算链。逐环拆解:
第一环,实测吞吐替代标称吞吐。厂商给的吞吐数字是在「输入 128 token、输出 128 token、无 SLO 约束、batch 塞满」的甜点工况测的;真实业务的 prompt 长度分布往往横跨两个数量级,prefill 和 decode 抢资源,连续批处理(continuous batching)的实际吞吐受 batch 构成强烈影响——batch-延迟-吞吐曲线 给出过实测:同一个 vLLM 实例,吞吐随 batch size 增长到某个拐点后延迟开始指数恶化,甜点区间通常只有标称值的 60%~80%。
第二环,SLO 过滤。吞吐不是都能卖钱的。如果 SLO 是 TTFT P90 小于 800ms,那么凡是导致排队的超额负载产生的 token,用户体验上已经「失败」——这部分产能要么换来投诉要么换来流失,不能算进有效产能。分母应该用 goodput(满足 SLO 的有效吞吐),这个概念在 SLO 感知调度与 goodput 里有完整定义。经验值:把实例压在 SLO 边界上跑,goodput 大约是 raw throughput 峰值的 70%~85%;压得更狠,goodput 反而下降——延迟超标的那部分被过滤掉了。
第三环,利用率折损。GPU 不是 24 小时满负荷的。业务有峰谷,夜间流量可能只有高峰的三成;为了扛高峰必须按峰值容量采购,低谷时段的算力就是沉没成本;再加上 N+1 冗余、滚动升级期间的容量让位,实际有效利用率能到 50% 已经算运营得不错。三环相乘:0.7 × 0.8 × 0.5 ≈ 0.28,这就是「实测是理论 3~8 倍」的来源——不是哪一环算错了,是每一环都在打折。
二、把 SLO 写进成本公式:goodput 定价法
成本模型最容易吵起来的地方,是「SLO 到底值多少钱」。工程侧的直觉是 SLO 越严成本越高,但高多少、怎么算,多数团队答不上来。LLM 推理成本模型给的答案是一条成本-SLO 曲线:固定集群规模,逐步抬高负载,记录每个负载点下的 goodput,单 token 成本 = 时价 / goodput,画出来是一条 U 形曲线。
U 形曲线的左半边好理解:负载低,机器空转,分母小,单位成本高。右半边是反直觉的部分——负载超过甜点后,raw throughput 还在涨,但 goodput 开始跌,因为超出的请求全在排队、TTFT 越线、被 SLO 过滤掉,单 token 有效成本不降反升。最优运营点在 SLO 边界内侧一点点,而不是把 GPU 压到 100%。这就是为什么 推理容量规划 强调容量要按「P90 负载 + 冗余系数」而不是按峰值配:按峰值配是把运营点推到 U 形左半边烧钱。
这条曲线还直接回答定价问题。假设甜点区实测 goodput 为每卡每秒 1800 token(输入输出按 token 等权计价的最简口径),时价 3 美元、利用率 50%,那么单 token 成本 = 3 / (3600 × 1800 × 0.5) ≈ 0.93 美元/百万 token。要留 40% 毛利,对外定价就不能低于 1.55 美元/百万 token——市面上 API 定价低于这个数的服务,要么在补贴抢市场,要么工况(更短的上下文、更宽松的 SLO)和你的不一样。比价之前先对齐工况,是这套模型给的第一个决策纪律。
SLO 严格度的弹性也可以在曲线上读。把 TTFT SLO 从 800ms 放宽到 1500ms,等价于允许更长的排队,甜点右移,goodput 提升 15%~25%,单 token 成本同步下降。所以「能不能把内部批处理任务的 SLO 放宽」不是体验问题,是赤裸裸的成本问题——离线评估、数据清洗这类非实时负载,应该单独一个服务等级、单独一个队列,用更低的成本等级跑,而不是和在线对话挤在一个 SLO 里。调度器怎么把两类负载分开,见 SLO 感知调度与 goodput。
还有一个口径陷阱要在建模型第一天就堵住:输入 token 和输出 token 的成本不一样。prefill 是计算密集(一次并行算完整个 prompt),decode 是带宽密集(逐 token 串行、每步读全量 KV cache),同样一千万 token,全输入和全输出的 GPU 占用时间能差出数倍。严格的模型应该给两类 token 分别定价——输入按 prefill 算力折算,输出按 decode 时长加 KV 驻留成本折算。工程上多数团队简化为按经验比例加权(例如输出 token 权重设为输入的 2~4 倍,具体倍数用压测标定),或者干脆按「等效 token」统一计价再在校准时修正。用哪种都行,但必须在模型文档里写清楚,否则和按 API 市场价对比时会发现对方的输入/输出差价比和自己的完全对不上,跨方案比价再次失真。KV cache 驻留为什么本身有成本,背景见 KV cache 与推理显存。
三、工程杠杆的成本弹性:batch、切分、功耗各值多少钱
成本模型的第二个用途是评估「某个优化值不值得做」。每个工程优化最终都要折算成「goodput 提升百分之几」或「时价下降百分之几」,套进同一条公式就能算出它每月省多少钱。三类常见杠杆的账这样算:
| 杠杆 | 机制 | 对成本的影响 | 代价与适用边界 |
|---|---|---|---|
| 调大 batch / 优化调度 | 甜点区内 raw 转 goodput 效率提升 | goodput +10%~30%,成本同比降 | 到 SLO 边界为止,过界反噬 |
| MIG/MPS 切分 | 小模型不独占整卡,时价按切片摊 | 时价除以 2~7(切片数) | 切片吞吐非线性缩,隔离性折损 |
| 抬功耗上限 / 改善散热 | 减少 throttle,稳住 TPOT | goodput +5%~15% | 电费涨、硬件寿命折损 |
| PD 分离部署 | prefill/decode 各配最适配比 | 整体卡数 -10%~25% | 架构复杂、传输开销 |
表里的数字都来自站内对应的实测文章,用之前先在自己集群上标定——别人的甜点区间不一定平移得过来,模型尺寸、上下文分布、引擎版本任何一个变了,拐点位置都会动。标定方法很固定:压测出本集群的 batch-延迟-吞吐曲线,叠加自家 SLO 线,交点就是甜点,全程半天工作量,但它是整张表的地基。第二行 MIG/MPS 的账最有代表性:一个 7B 模型独占一张 A100 是明显的浪费,实测它只能吃到三成算力;用 MIG 切成两实例或 MPS 时间片共享后,单实例时价近似减半,吞吐却只掉 15%~30%,净效果是单 token 成本降三到四成——前提是延迟隔离的折损在 SLO 容差内,具体折损形态见 MIG 与 MPS 切分部署。第三行功耗账则是反向的:撞功耗墙时 GPU 被强制降频,TPOT 抖动直接吃掉 goodput,GPU 功耗墙对延迟的影响 实测某些工况下抬功耗上限能让 P99 稳定度改善一个档位——电费每月多几百块,换 goodput 涨一成,这笔账几乎总是划算的。
这张图的重点在「统一折算」这一步:所有优化必须在同一个单位(美元/月)上比较,才能排优先级。工程团队常犯的错误是按「技术酷不酷」排优化——花三个月做投机解码(speculative decoding)提 goodput 12%,却无视「把夜间低谷实例缩容一半」这个一周就能上线、省 20% 时价的运维动作。成本模型把两类动作拉到同一把尺上:前者节省 = 当前月度算力支出 × 12%,后者 = 时价支出 × 20%,谁先做一目了然。
四、从单 token 成本到 TCO:把非 GPU 开销加回来
单 token 成本只算了算力。做采购决策(自建还是上云、买多少卡)时,要用的是 TCO——总体拥有成本,它把三年周期里所有为这套推理服务花的钱都摊进去。一个可用的 TCO 分解是五块:算力、电力与机房、网络与存储、软件与人力、冗余与闲置。
逐项给口径。算力成本在自建场景是购卡价按 36 个月直线摊销加残值,在云上就是实例账单。电力与机房 = 整卡功耗 × PUE(电能利用效率,机房总耗电除以 IT 设备耗电,典型 1.2~1.5)× 电价 × 时长——一张满载 700W 的 H100,PUE 1.3 后按 0.91kW 计,工业电价 0.8 元/度,一个月电费约 520 元,看着不多,乘以几百张卡再加三年就是六位数的差距;自建场景里这块经常被漏算,因为账单在行政不在技术部门。网络与存储包括多机部署的东西向流量、分离式推理集群 里 KV cache 搬运的互连成本、以及 KV offload 到 CPU 内存或 NVMe 盘的开销。
人力是 TCO 里方差最大的一项。自建+自维护引擎(vLLM 调优、kernel 升级、凌晨 on-call)一个中等规模集群至少要摊 1.5~2 个全职工程师;全托管 API 这项归零但单价里已含了对方的人力和毛利。冗余与闲置前面算过——它本质是把利用率折损从单 token 公式里移到 TCO 层面再确认一次,避免重复计算:两种口径取其一,本文建议放在 TCO 层,单 token 公式里只保留 goodput 一环,账目更干净。
残值是自建方案特有的尾巴。GPU 迭代周期大约两年,三年前按旗舰价买的卡,今天的二手价可能只剩三四成;做 36 个月摊销时乐观地按五成残值计,和保守地按两成计,摊到每月的成本能差出 15%。采购决策里这一项没有正确答案,只有「写进假设里、让拍板的人看见」这一个正确动作——TCO 模型最大的价值不是算出精确数字,而是把所有假设摆到桌面上,让「我觉得残值有五成」和「我觉得只有两成」的分歧变成一次显式的讨论,而不是两份各自藏着假设的报价单在会上打架。
上图强调两套口径的分工。团队内部讨论「这个优化值不值」用单 token 算力口径,快且聚焦;对上汇报「要不要买 64 张卡」必须 TCO 口径,否则电力、人力、冗余被漏掉,决策必然偏乐观——自建方案的报价单上最容易被低估的恰恰是非 GPU 三项,经验值它们合计占 TCO 的 25%~40%。
五、四种供给路线横向比价:同一模型的四个答案
有了 TCO 框架,就可以回答终极问题:自建裸机、云上按需、云上预留、第三方 API,到底选哪个?把四条路线套进同一个模型:
| 路线 | 时价口径 | 典型单 token 成本区间 | 隐藏成本 | 适合谁 |
|---|---|---|---|---|
| 第三方 API | 按 token 计费,无闲置 | 最高(含对方毛利) | 数据合规、供应商锁定 | 流量小或波动剧烈的团队 |
| 云上按需 | 按需价 × 利用率 | 中高 | 闲置时段照付、价格浮动 | 业务爬坡期、峰谷比大 |
| 云上预留/包年 | 按需价 4~7 折 | 中 | 承诺期锁死、过剩浪费 | 负载稳定的成长期 |
| 自建裸机 | 购卡摊销 + 电力机房 | 最低(满载时) | 人力、残值风险、扩容慢 | 负载大且稳定的成熟期 |
表里「典型成本区间」故意不给绝对数字——它随模型尺寸、上下文长度、SLO 严格度剧烈变化,给固定数字反而是误导。可比的是结构:API 路线把利用率风险卖给了供应商,所以单价最贵;自建路线把风险全留给自己,所以满载时最便宜、闲载时最亏。决策的本质是判断自家负载曲线的形状:峰谷比大于 3 的,按需或 API 划算;全天水位平稳的,预留和自建的折扣才吃得回来。
最后这条混合路线值得展开:基线负载用自建或预留扛(吃最低时价),超出基线的尖峰溢到云按需或 API(为弹性付溢价但只付尖峰部分)。它要求网关层有能力按成本策略路由——这恰好又把话题引回了枢纽文的起点:成本模型不只是财务工具,它的输出应该直接驱动调度与容量配置。推理容量规划 里的容量计算器加上本文的折算系数,就是混合路线里「基线配几张卡」的直接答案。
比价时还有三条容易翻车的纪律。其一,对齐 SLO 再比价:第三方 API 的延迟承诺通常比自建内部 SLO 宽松,拿 API 单价直接对比自建严格 SLO 下的成本,是在拿苹果比橘子。其二,把切换成本算进去:从 API 迁到自建不是纯差价问题,模型效果对齐、引擎行为差异、压测验证都有人力开销,差价太小就不值得迁。其三,警惕单价战的锚定效应:API 厂商的促销价可能低于其自身成本,用它做长期规划的基准会在促销结束时翻车——长期决策应该用稳态价格加一条「供应商毛利是否合理」的常识校验。
六、一个完整算例:从一张账单到一次采购决策
把前面所有环节串一遍。设定:某团队用 8 张 H100(云上按需,单卡 3 美元/时)服务一个 70B 量化模型,SLO 为 TTFT P90 小于 1 秒、TPOT P50 小于 60ms,日均请求流量峰谷比约 4:1。
第一步,测甜点。按 batch-延迟-吞吐曲线 的方法做压测,得到每卡 raw throughput 峰值 2600 token/s,SLO 边界处的 goodput 为 1950 token/s,即 SLO 过滤系数 0.75。第二步,测利用率。拉一个月流量曲线,8 张卡在高峰刚好顶到 SLO 边界、夜间只用到 3 张,全天加权有效利用率 52%。第三步,折算单 token 成本:单卡时价 3 美元,有效产出 = 3600 × 1950 × 0.52 ≈ 365 万 token/时,单 token 成本 ≈ 0.82 美元/百万 token,全月算力账单 8 × 3 × 730 ≈ 17520 美元。对照 naive 算法(3 / 3600 / 2600 ≈ 0.32 美元/百万 token),真实成本是它的 2.6 倍——这个倍数就是 SLO 过滤系数与利用率系数叠乘的结果,两环各打一次折,账单就翻一倍多。
第四步,补 TCO。这是云上方案,电力机房已含在时价里,不用另算;网络存储(模型权重分发、日志与 trace 落盘)月账单约 900 美元;引擎维护与 on-call 摊 1 个工程师的 40% 人力,约 5000 美元/月;冗余闲置已含在利用率系数里不重复计。TCO ≈ 23420 美元/月,全月有效 token 量 = 8 卡 × 365 万 × 730 ≈ 21.3 亿 token,TCO 口径成本 ≈ 1.10 美元/百万 token——比纯算力口径高 34%,这个差值就是只报算力口径会给管理层制造的错觉。
第五步,用模型评估两个候选动作。动作 A:升级到预留实例(包一年七折),时价降到 2.1 美元,TCO 降到约 18300 美元/月,省 5120;代价是承诺期锁死,如果半年后业务萎缩三成,省的钱会被闲置吃掉大半——按流量增长预期打个概率加权,期望值仍为正但裕量不大。动作 B:落地 MIG/MPS 思路的变体,把夜间低谷的 3 张卡切去跑离线评测任务(SLO 放宽、填满空闲),等效于利用率系数从 0.52 提到 0.68,单 token 成本直接降 23%,每月等效省 4000 美元且无任何承诺期。结论:B 先做,A 等流量曲线再稳一个季度后复评。这就是成本模型的标准用法——不争论哪个动作「更好」,只比较哪个动作「在数字上更值」;当两个动作的月节省额接近时,选不需要承诺期、可逆的那个,把不可逆的重决策留给数据更充分的下个季度。
direction: down
input: "输入:账单、压测数据\n流量曲线、人力口径"
steps: "五步折算\n甜点、利用率、单 token\nTCO、候选动作比价"
decision: "输出:动作 B 先行\n省 4000 美元/月无锁死"
review: "复评触发器\n流量曲线形态变化时重算\n注:成本模型不是一次性作业\n负载形态变了就要重跑"
input -> steps
steps -> decision
decision -> review
input.style: {fill: "#EAF2FE"; stroke: "#3B6FD4"}
steps.style: {fill: "#EAF2FE"; stroke: "#3B6FD4"}
decision.style: {fill: "#E9F8F0"; stroke: "#2E9E6B"}
review.style: {fill: "#F1ECFD"; stroke: "#7A5BD4"}上图收尾强调「复评触发器」。成本模型的所有系数——甜点 goodput、SLO 过滤系数、利用率——都绑定当前的负载形态与引擎版本。换了模型、升了引擎、接了 Agent 负载(输出长度分布剧变)、或者流量峰谷比改变,整条链都要重测重算。把它固化成季度动作,和容量回归共用同一批压测数据,边际成本很低;把它当成一次性咨询报告,半年后它就是一张误导决策的废纸。
这一篇在知识体系里的位置
本篇是「LLM 推理工程」簇里负责「算钱」的枢纽:向上接容量与 SLO,推理容量规划 回答配几张卡、本文回答花多少钱,SLO 感知调度与 goodput 给成本公式里最关键的分母;向旁边接性能杠杆,batch-延迟-吞吐曲线 决定甜点区位置,GPU 功耗墙对延迟的影响 和 MIG 与 MPS 切分部署 分别是第三节表里两行杠杆的实测依据;向下接部署形态,分离式推理集群 对应 TCO 里网络项与算力配比的联动。读完本篇再回头读任何一篇长尾优化文,都建议顺手问一句:这个优化折算到单 token 成本,值几个点。
总结
LLM 推理成本模型的核心是一条四环节折算链——GPU 时价除以「实测吞吐 × SLO 过滤后的 goodput × 利用率」,三环折损叠加解释了为什么真实单 token 成本是标称算法的三到八倍;运营最优点在 SLO 边界内侧的 goodput 甜点而非 GPU 满载,所有工程优化(batch 调度、MIG/MPS 切分、功耗散热)都应统一折算成每月节省额排优先级,采购决策则要在算力之外把电力机房、网络存储、人力、冗余闲置加回成 TCO 五块口径,最后按负载曲线的峰谷形状在 API、云按需、云预留、自建四条供给路线里选型——基线自建加峰值溢出按需的混合架构,是多数中型团队的最优解。