每月17.8万API账单，53%花在了废话上

---

你的AI应用每个月烧掉几十万，但你可能不知道——至少30%的API费用都花在了废话上。

上周我们团队做了一次成本审计，结果让我这个干了十年技术的人都有点坐不住。我们的智能客服系统，单月GPT-4的API账单是17.8万。注意，是17.8万。但用户真正需要的有效信息，只占总输出token的47%。

剩下的53%是什么？

是“当然，我很乐意帮您解答这个问题”、“根据我的理解”、“希望以上信息对您有所帮助”这些礼貌但昂贵的废话。

我翻了翻国内几家做AI应用的朋友的数据，情况都差不多。有个做电商客服的哥们，他们的冗余占比甚至到了61%。他当时在群里发了个截图，配文是“我每天在给GPT发工资让它跟我客户寒暄”。群里笑完，大家都沉默了。

今天我想把这个问题的量化方法和解决思路完整拆解一下，希望能帮大家省点钱。

第一步：定义什么是“冗余”

在动手优化之前，得先搞清楚到底什么算冗余。我们团队为这个事吵了一下午，最后定了个分类标准：

• **结构性冗余**：固定出现在每次回复中的模板化内容。开场白“您好！我是AI助手...”、结尾语“如有其他问题请随时联系我”这类。
• **解释性冗余**：AI在给出答案前，先解释一遍自己要做什么。“让我为您分析一下这个问题，首先我们需要理解...”——用户看到这种开头估计想翻白眼。
• **重复性冗余**：多轮对话中，AI反复重述之前已经确认过的信息。这个在客服场景特别严重。
• **礼貌性冗余**：各种客套话、过渡句、不必要的修饰词。

等等，这里我要更正一下。我上面说“我们团队吵了一下午”，其实没那么夸张。主要是两个PM吵了大概40分钟，我全程在旁听，偶尔插几句。但那个场面确实挺激烈的，因为PM A觉得礼貌性冗余是“用户体验的一部分”，PM B直接怼回去说“你愿意为‘用户体验’每个月多付6万吗”。PM A就不说话了。

我们用这个分类标准对1000条真实对话做了标注。结果是这样的：结构性冗余占23%，解释性冗余占18%，重复性冗余占7%，礼貌性冗余占5%。加起来53%。我当时看到这个数字，第一反应是：我们的代码review是不是也该review一下了。

第二步：建立量化监控体系

光知道有冗余不够，你得能实时看到它在吃你多少钱。

我现在在API调用层加了一层监控，用的LangSmith做链路追踪（2024年5月接的，版本0.5.8，当时踩了不少坑）。核心就三个指标：

Token效率比 = 有效信息token数 / 总输出token数

这个指标低于60%就要报警。上周有一次突然掉到35%，半夜PagerDuty把我叫起来。一查发现是某个prompt改版后，模型开始在每个回答前都加一段“作为AI助手，我需要声明...”。那个改prompt的同事第二天请我喝了杯咖啡，这事就算过了。

冗余成本 = (总API费用 × 冗余占比) + 因冗余导致的多余对话轮次费用

这个数字最直观。我们客服系统算下来，冗余成本每月9.4万，一年112万。我把这个数字往CTO桌上一放，他看了大概5秒钟，说“你写个方案，明天给我”。优化预算当场就批了。有时候你得用钱说话。

用户有效信息获取时间 = 用户从看到回复到找到所需信息的平均耗时

这个指标跟用户体验直接挂钩。我们做了个A/B测试，样本量大概3000个会话。精简版回复比冗余版让用户找到答案的时间平均缩短了4.2秒，满意度评分反而上升了6个百分点。

嗯...这个其实有点反直觉。我之前一直以为用户会觉得简洁=冷漠，但数据告诉我不是这样的。用户其实很烦那些废话，只是不会直接告诉你。他们会用脚投票——直接关掉对话窗口。

第三步：系统性的优化手段

量化完之后就是动手优化。我踩过不少坑，说几个确实有效的。

Prompt工程精准化，别用“请”字

很多人写prompt喜欢加“请”、“麻烦你”这种礼貌用语，觉得能让AI输出质量更高。实际上这些词只会让模型学会跟你客气。我现在的prompt原则很简单：指令精确到字段级别，明确禁止输出哪些内容。

我们客服系统的prompt从：

“请根据用户问题，友好地提供帮助和解答”

改成了：

“直接输出答案，禁止使用开场白、客套话、结尾语。输出格式：{答案内容}{引用来源}”

就这一改，Token效率比从47%跳到了71%，单月省了6万多。我当时在工位上笑出了声，旁边的同事以为我中彩票了。

输出结构强制约束

让模型输出JSON格式而不是自然语言，是减少冗余最狠的办法。我们内部的知识库问答工具，之前让模型自由发挥，现在改成强制输出结构化JSON：

{

"answer": "答案",

"confidence": 0.95,

"source": "来源"

}

前端拿到JSON再渲染成自然语言界面。模型就没机会写废话了，冗余率直接降到5%以下。代价是需要前端配合做渲染逻辑，适合内部工具或可控场景。对外的话，我觉得还是得保留一些自然的表达，不然太生硬。

多轮对话的状态压缩

这个坑我踩得最疼。

我们早期的客服系统会把完整对话历史每次都发给模型。到第5轮的时候，光是历史消息就占了2000多个token，大量是重复确认的信息。我记得有一次debug，看到第8轮对话的prompt里，“您刚才提到您的订单号是20240315xxxx”这句话出现了4次。4次。

现在的做法：每轮对话结束后，用一个轻量模型（GPT-3.5-turbo，成本基本可以忽略）把当前状态压缩成结构化摘要，只保留关键事实和待解决问题。下一轮对话只发这个摘要，不发完整历史。这个改动让多轮对话的平均token消耗下降了42%。

第四步：建立反馈闭环

优化不是一次性的。我们现在每周出一份成本效率报告，核心看这几个数：

• Token效率比趋势图
• Top 10高消耗低效率的对话（人工抽查优化）
• 冗余成本周环比
• 用户满意度与回复长度的相关性

有意思的是，回复长度和用户满意度并不是正相关。在我们的数据里，150-300字的回复满意度最高，超过500字满意度反而下降。用户要的是精准，不是长篇大论。这个发现让我想起一个梗：“说了那么多，你倒是告诉我怎么解决啊”。

说点实在的

做这些优化三个月下来，API月费用从17.8万降到了9.2万，降幅48%。用户满意度从4.1分升到了4.4分（5分制）。

这个结果让我更坚定一个想法：AI应用的成本优化，核心不是选更便宜的模型，而是让每一token都花在刀刃上。现在GPT-4 Turbo、Claude 3这些模型价格战越打越激烈，但再便宜也架不住你让它说废话。据我了解，有些团队已经在用Claude 3 Haiku做简单问答了，成本确实低，但如果prompt不优化，该浪费还是浪费。

与其等着模型降价，不如先把冗余砍了。这是最快看到ROI的方式。

你们团队的AI应用有没有遇到过类似的成本问题？冗余占比大概是多少？欢迎在评论区聊聊，我特别想知道不同场景下的数据。如果你们有更好的优化方法，也请一定告诉我。我还在持续踩坑中。

#AI成本优化 #Token效率 #PromptEngineering #技术管理 #生成式AI