双十一当晚,按量计费API差点烧掉我们17万
上周我们团队差点把 AWS 账单看吐了——一个月烧掉 17 万,就因为在 3 个业务线接了某家按量计费的大模型 API,峰值 QPS 冲到 400 的时候,那个费用曲线比心电图还刺激。我当时盯着 Grafana 面板,脑子里就一句话:这玩意儿到底是“按需付费”还是“按命付费”?
所以今天想跟你聊聊这个扎心的话题——大模型 API,到底选按量计费还是订阅制? 不扯虚的,直接上真实账本。
一、先算一笔账:同样 1000 万 token,两种模式差多少?
我拿国内主流厂商的价格做了个对比(2025 年 4 月数据,脱敏处理):
| 模式 | 单价(每千 token) | 月消耗 1000 万 token | 年成本 |
|------|---------------------|----------------------|--------|
| 按量计费(某厂 A) | 0.008 元(输入)/ 0.024 元(输出) | 约 1,600 元 | 19,200 元 |
| 订阅制(某厂 B) | 月费 2,999 元,包 2000 万 token | 2,999 元 | 35,988 元 |
| 按量计费(某厂 C,国际) | $0.15/1M token(约 1.05 元/千 token) | 约 10,500 元 | 126,000 元 |
表面看:按量计费便宜到像白嫖,订阅制贵得离谱。
实际上:我们踩的第一个坑就在这儿——你永远估不准“实际用量”。
去年 11 月,我们上线了一个智能客服功能,产品经理拍着胸脯说“日均调用量不会超过 5 万次”。结果双十一当天,用户疯狂问“我的快递到哪了”,QPS 直接爆到 380,单日 token 消耗干到了 800 万。那一天的成本是 1.2 万。如果当时用的是订阅制,超出的部分按阶梯价也要 0.6 万,但至少有个天花板。
等等,这里我要更正一下——刚才翻了下当时的 Slack 记录,准确数字是 11 月 11 号凌晨 2 点 17 分,PagerDuty 告警先响的,QPS 峰值其实是 412,不是 380。人老了记性不行。
教训一:按量计费的“便宜”,建立在你能精准预测流量的前提下。而创业公司的流量,从来不是用来预测的,是用来惊吓你的。
二、隐藏成本:那些厂商不会写在定价页的东西
去年我做技术选型的时候,犯过一个特别蠢的错误——只看单价,不看“有效 token”。
某家厂商的 API,按量计费 0.006 元/千 token,便宜到我不假思索就接了。结果上线两周,我发现每次调用消耗的 token 是预期的 1.8 倍。为什么?因为它的 system prompt 处理机制会把上下文重复编码,加上返回的 JSON 里带了一堆冗余字段。我是在查 Langfuse 的 tracing 日志时发现的,当时看到那个 usage.prompt_tokens 字段,直接骂了一句。
真实成本 = 单价 × (有效 token + 浪费的 token)
那家厂商的“有效成本”其实是 0.0108 元/千 token,涨了 80%。
而另一家做订阅制的厂商,虽然月费 4,999 元看起来贵,但它提供了专用的 prompt 压缩接口(他们叫 compact API,v2 版本),token 节省率 35%。算下来,月消耗 5000 万 token 的场景,反而比按量计费便宜 22%。我们是用一个 Python 脚本跑的对比,脚本名叫 cost_sim.py,跑了两天才出结果。
教训二:按量计费像自助餐按克称重——你不仅要看你吃了多少,还得看盘子里有多少水。
三、业务场景决定付费模式,别信“一刀切”
我现在的原则很简单,就三条:
1. 原型验证阶段 → 无脑按量计费
你连产品能不能跑通都不知道,就别急着签年框。我们去年孵化了 4 个 AI 小工具,3 个死在了 MVP 阶段。如果每个都买订阅,沉没成本至少 12 万。按量计费让我们总共才花了 8,000 块就验证完了。这 8,000 块里有一半还是因为一个 bug 导致死循环调用,不然更少。
2. 有稳定流量基座 → 订阅制 + 按量兜底
今年 3 月,我们把两个成熟业务切到了某厂的“月包 3000 万 token + 超出按阶梯价”的混合模式。基座成本锁死,峰值有弹性。财务终于不再每个月末找我喝茶了。嗯...这个比较复杂,切换的时候我们踩了个 DNS 解析的坑,切流切了 4 个小时,但那是另一个故事了。
3. 多模型混用 → 统一网关 + 按量计费
我们现在同时接 4 家大模型,通过一个内部路由层做分发。用的 LiteLLM 做统一代理,然后自己写了个调度器挂在 Redis 上。这种场景订阅制根本没意义,因为每家都有独占的订阅套餐,加起来比按量还贵。调度器会根据任务类型、成本、延迟自动选模型,把综合成本压到了纯按量的 60%。我觉得这个方案还挺优雅的,虽然当初写那个调度器的 Go 代码写得我想砸键盘。
四、说点得罪人的大实话
国内有些厂商的订阅制,本质上是在卖“焦虑保险”。他们赌的就是你害怕流量爆炸,所以心甘情愿多付 30%-50% 的溢价买个心安。
但反过来,按量计费的“透明”有时候也是假象。上个月我们被一家厂商的“并发限流”坑了——按量计费用户和订阅用户的 QPS 上限根本不在一个量级。按量用户默认 60 QPS,订阅用户直接 300 QPS,差距五倍。你以为是省钱,其实是降级。我们有个接口因为被限流,TP99 延迟从 200ms 飙到 3 秒,用户那边直接超时报错。
所以我的建议是:别只看价格页,去翻 SLA 文档里的并发限制、重试策略、优先级队列这些细节。据我了解,国内至少有两家头部厂商的按量计费用户,在高峰期会被自动降级到共享集群,延迟波动很大。很多时候,真正的成本不在 token 单价里,而在你业务被限流时损失的订单里。
最后说两句
选付费模式这件事,本质上是个“风险转移”游戏:
- 按量计费 = 你把流量波动的风险留给自己
- 订阅制 = 你花溢价把风险转嫁给厂商
没有银弹。
只有适不适合你现在的阶段。
我特别好奇——你们团队现在用的是哪种模式?有没有被账单背刺过的经历?评论区聊聊,点赞最高的三位我送你一份我们内部的《多模型成本监控 Dashboard 模板》(Grafana 直接导入,需要 Grafana 9.0+,数据源接 Prometheus)。
#大模型API #成本优化 #技术选型 #创业踩坑 #AICost
读者评论 4