AI提示词浪费率高达63%，砍掉80%废话准确率只降0.3%

去年我用 GPT-4 搭了个代码审查工具，第一个月账单出来差点心梗——1200 美元。老板看我的眼神，怎么说呢，就像在看一个说“这只独角兽明年就能盈利”的创业者。

疼。

于是我开始了一场长达三个月的 Token 优化实验。从提示词压缩到模型选型，从缓存策略到批处理调度，最后把成本压到了原来的 18%。下面这些东西，都是真金白银换来的教训。我觉得对正在被 AI 账单困扰的人，应该有点用。

你买的不是 AI，是 Token

先聊个根本问题：为什么你的 AI 账单总是超预算？

因为大多数人把 AI 当程序员用，但计费方式是按字数算的——像发电报。你每发送一个字符、接收一个字符，都是在花钱。GPT-4 Turbo 的定价是输入 $0.01/1K tokens，输出 $0.03/1K tokens。Claude 3 Opus 更贵，输出要 $0.075/1K tokens。一个 token 大概等于 0.75 个英文单词，或者 0.5 个中文字。

假设你让 AI 审查一段 500 行的代码，输入大概 8000 tokens，输出 3000 tokens 的审查意见。单次成本就是 (8000/1000 × 0.01) + (3000/1000 × 0.03) = 0.08 + 0.09 = $0.17。一天调用 500 次，就是 $85。一个月呢？$2550。

这还只是审查代码。如果让它写代码、写文档、做翻译，数字轻松翻倍。

有个数据我记得很清楚——Semianalysis 去年出了一份报告，说企业级 AI 应用中 Token 浪费率高达 40%-60%。主要原因是冗余的系统提示词、重复的上下文传输、还有不必要的长输出。换句话说，你的账单有一半是在给废话买单。

等等，这里我要更正一下。40%-60% 是 Semianalysis 2024 年 Q2 报告里的数据，样本主要是北美那边的 SaaS 公司。国内的情况据我了解更严重，因为中文场景下大家习惯写很长的提示词，浪费率可能更高。我没找到国内的确切数据，但我自己的项目优化前浪费率是 63%，优化后才降下来的。

第一刀：砍提示词，别砍功能

我最开始犯的错误，是把提示词当产品需求文档写。

当时我的代码审查提示词长这样：

你是一个资深的全栈工程师，拥有 15 年的软件开发经验，
精通 Python、JavaScript、Go 等多种编程语言。
你曾在 Google、Meta 等顶尖科技公司工作过，
擅长代码审查、架构设计、性能优化...
（中间省略 200 字）
现在，请帮我审查下面的代码，指出潜在的问题和改进建议。
请按照以下格式输出：
1. 严重问题（会导致系统崩溃或安全漏洞）
2. 中等问题（影响性能或可维护性）
3. 轻微问题（代码风格或命名规范）
...（又省略 150 字）

这段提示词一共 487 tokens。每次调用都原封不动地发送，一个月 15000 次调用，光提示词就烧掉 730 万 tokens，折合 $73 美元。

$73 买到了什么？一堆 AI 根本不需要知道的废话。

我做了三件事：

1. 角色设定压缩 80%

把“你是一个拥有 15 年经验的资深工程师，曾在 Google 工作过”改成“你是资深代码审查专家”。AI 不需要知道你在 Google 工作过，它只需要理解任务场景。

我们内部用 200 个标注样本测过，删除角色背景描述后，GPT-4 在代码审查任务上的准确率只下降了 0.3%，但输入 token 减少了 65%。0.3% 换 65% 的成本，这买卖划算。

2. 用示例替代规则描述

与其花 200 字描述输出格式，不如给一个示例。Few-shot prompting 不仅更省 Token，效果还更好：

审查以下代码，输出问题列表。
示例输出：
- [严重] SQL注入风险，第12行未使用参数化查询
- [中等] N+1查询问题，第28行循环内执行数据库查询

这段提示词只有 87 tokens，比原来节省 82%。而且因为有了具体示例，模型输出的格式更稳定，解析成本也降低了——之前经常遇到模型突然换格式，下游解析器直接炸掉。

嗯…这个其实挺反直觉的。我以为给更多规则会让输出更规范，结果恰恰相反。规则越多，模型越容易“理解偏了”，输出格式反而更不稳定。

3. 系统提示词和用户提示词分离

大部分 API 支持 system prompt 和 user prompt 分开设置。系统提示词可以缓存（后面会讲），用户提示词每次变化。把固定的指令放 system，变化的代码放 user，配合缓存能省不少。

第二刀：缓存，最被低估的省钱利器

2024 年 6 月，Anthropic 率先推出了 Prompt Caching 功能。OpenAI 在 10 月跟进。

当时圈子里都在讨论这个，但真正用起来的人不多。我试了一下，效果远超预期。

原理很简单：如果你的提示词中有重复内容，API 会自动缓存，后续调用只收 10% 的费用。但缓存的触发条件很严格——内容必须完全一致，且长度超过 1024 tokens（Claude 和 OpenAI 都是这个阈值）。

这意味着你需要刻意设计提示词结构。

我的做法是把提示词拆成三部分：

[固定系统指令] → 可缓存
[固定示例输出] → 可缓存 
[变化的用户代码] → 不可缓存

前两部分加起来 512 tokens，第三部分平均 3000 tokens。启用缓存后，前 512 tokens 的费用打一折。一个月下来，这部分成本从 $76 降到 $7.6。

90%，就这么省出来的。

更激进的玩法是批处理。如果你的任务不需要实时响应（比如夜间跑代码审查、批量生成测试用例），可以用 Batch API。OpenAI 的 Batch API 打五折，Anthropic 的 Message Batches 也是五折，唯一的代价是可能要等 24 小时。

我把所有非实时的代码审查任务改成批处理，又省了 40%。

真实数据：我们团队 6 个人，每天产生约 200 次代码审查请求。实时请求 60 次（紧急 PR），批处理 140 次（日常代码扫描）。优化前月成本 $850，优化后 $153。老板终于不再用那种眼神看我了。

第三刀：别让模型杀鸡用牛刀

另一个常见误区是啥都用最强模型。

GPT-4 写代码确实好。但分类任务、摘要任务、格式转换任务，GPT-4o mini 完全够用——价格差了 20 倍。20 倍。

我搞了个简单的路由规则：

• **代码生成 / 复杂推理**：GPT-4o 或 Claude 3.5 Sonnet
• **代码分类 / 语言检测**：GPT-4o mini
• **文档摘要 / 标签提取**：GPT-4o mini
• **代码格式化 / 语法检查**：GPT-4o mini 甚至本地小模型

我们在一个内部工具上做了 A/B 测试：1000 个代码审查任务，随机分配到大模型（GPT-4o）和小模型（GPT-4o mini）。对于“检测 SQL 注入风险”这类明确规则的任务，准确率分别是 94.2% 和 92.8%，差异不到 2 个百分点。

但成本差异是 20 倍。

更狠的做法是用本地模型做预筛选。我们用 Llama 3.1 8B 跑在团队的开发服务器上，一张 RTX 4090 足够。先过一遍代码，只把“疑似有问题”的代码段发给云端大模型做深度分析。这样 70% 的代码根本不会产生 API 调用。

省钱的核心不是用更便宜的模型，而是让每个任务用上恰好够用的模型。这是我优化三个月后最大的感悟。

输出控制：别让 AI 写作文

还有一个容易被忽略的成本黑洞：输出长度。

AI 模型天生喜欢“详细回答”。你问它“这段代码有问题吗”，它不仅告诉你“有问题”，还会解释为什么有问题、怎么修复、修复后的代码示例、相关的最佳实践、以及一个友善的结尾祝福。

这些额外的 Token 都是钱。都是钱。

我的经验是：在提示词中明确限制输出格式和长度。

错误提示词：审查这段代码，指出问题。
正确提示词：审查代码，只列出严重问题（会导致崩溃或安全漏洞），
每条问题不超过 30 字。如果没有严重问题，回复“无”。

加上“如果没有问题就回复无”这句话，帮我省了 30% 的输出成本。因为 AI 的默认行为是“总要找点话说”，即使代码没问题，它也会写一段“这段代码看起来不错，不过建议你注意以下几点...”的废话。

另一个技巧是用 max_tokens 参数硬限制。我一般设为预估所需长度的 1.2 倍，留点余地但不多。比如代码审查意见通常 500 tokens 够了，我就设 600。这样即使提示词没写好，也不会产生天价输出。

这个参数我一开始设得特别保守，设了 2000，结果发现 80% 的调用实际输出不到 500 tokens。多出来的 1500 就是纯浪费。

监控：省钱的第一步其实是“看见钱”

最后聊一个 meta 层面的东西：如果你看不到钱花在哪，就不可能省钱。

我用 Langfuse 开源版（免费，部署花了大概半小时）搭了一套成本监控，追踪每个 API 调用的 Token 消耗和费用。数据一出来我就震惊了。

有个同事的提示词里有段被注释掉的旧代码，每次调用都带着，一个月浪费了 $40。还有个自动化脚本因为 bug 重复调用同一个请求，烧了 $200。最离谱的是，有个定时任务在节假日也在跑，审查一个空仓库，每次消耗 2000 tokens 然后输出“没有发现代码变更”。

现在我们的监控面板有三个核心指标：

• **单次调用成本分布**：找出异常昂贵的调用
• **Token 利用率**：有效输出 / 总 Token，低于 30% 要报警
• **模型调用占比**：大模型调用比例超过 50% 要 review

这些数据每周自动发到 Slack 频道，团队所有人的成本都透明可见。

当花钱变得可见时，节省就自然发生了。这不是我说的，是行为经济学的基本原理。但确实管用。

省流版总结：

1. 压缩提示词，删掉废话角色设定，用示例替代规则描述（省 60% 输入）

2. 利用 Prompt Caching 和 Batch API（省 50%-90%）

3. 简单任务用小模型，大模型只处理复杂任务（省 80%）

4. 限制输出长度，明确“没问题就说无”（省 30% 输出）

5. 上监控，让每一分钱都可见可追踪

你现在每个月在 AI API 上花多少钱？有没有过账单超预期的经历？评论区聊聊，我帮你看看哪里能省。

#AI #Token优化 #成本控制 #PromptEngineering #LLM