OpenAI 开放 GPT
OpenAI 开放微调，我自研大模型的真心话
昨天晚上，我正对着屏幕发呆，一条消息炸了进来——
GPT-3.5 Turbo 开放微调了。
那一刻，我的心咯噔一下。你懂那种感觉吗？就是那种“完了，这回人家要来抢饭碗了”的慌张。
群里的朋友直接炸了锅。有人兴奋得不行，说终于等到这一天了；有人直喊太贵了用不起；还有人问我——你那套自研方案，是不是白折腾了？
说真的，我也慌了半秒。然后我深吸一口气，翻出自己最近的数据，又仔细看了看OpenAI的公告和定价表。
看完之后，我笑了。
没那么简单，朋友。今天跟你掏心窝子聊聊，这几个问题我到底怎么想的——
微调到底能干啥？效果真那么神吗？数据安全吗？成本到底划不划算？还有——企业，还有必要自己搞大模型吗？
一、先说个真事儿
我手头有个法律文书问答项目。用CAIL2019的数据，让模型根据案件描述和判例回答问题。
之前我用ChatGLM2-6B微调，准备了39333条数据。每条都包含input和output。训练一轮要好几个小时，显卡显存占得满满的，风扇转得跟飞机起飞似的。
听到OpenAI开放微调的消息，我第一个念头就是：用同样的数据，去微调GPT-3.5 Turbo，看看效果到底怎样？
结果，一上来就踩了个大坑。
OpenAI的微调API有上下文限制。gpt-3.5-turbo-0613这个版本，一次最多处理4K tokens，差不多3000个英文字符。我那些法律文书，很多动辄一两千字，根本塞不进去。
最后怎么办呢？硬生生把数据压缩到——你猜多少？20条！ 你没看错，就是20条。跟39333条比，零头的零头都算不上。
上传文件，创建微调作业，等了大概15分钟，模型就训练好了。
测试结果出来的时候，我又惊又喜——20条微调出来的模型，回答“事故结果如何”这类问题时，准确率和逻辑性，竟然跟39333条训练出来的ChatGLM2-6B差不多。有些回答甚至更流畅，像个真正的律师在说话，那种自然感，真的让人舒服。
说实话，当时我有点受打击。20条干翻几万条？这差距也太夸张了。
但冷静下来想想，这反而让我看清了两件事——
第一，GPT-3.5 Turbo这个底座，真的太强了。你给它一点点业务数据，它就能快速对齐风格，就像个天才学生，一点就通。
第二，微调解决的是“风格、格式和可靠性”，不是“从零学会知识”。你那些法律条款和案件细节，GPT-3.5在预训练阶段早就见过多少遍了？微调只是在告诉它：输出格式要这样，语气要这样，关键信息别漏掉。
所以你看，微调更像是“调教”，而不是“教学”。
二、微调的效果有多好？别被“媲美GPT-4”这句话忽悠了
OpenAI的公告里有一句话特别诱人——
早期测试表明，微调后的GPT-3.5 Turbo，在某些小范围任务上可以媲美甚至超越基础GPT-4。
我信。因为我测出来的结果，也接近这个判断。
但有一个前提你千万别忽略——任务范围越小，效果越好。
拿我的法律问答来说。如果你问“根据以下判例，判断事故结果”，模型会回答“两车不同程度损坏”，一点毛病没有，逻辑清晰，表达流畅。
但如果你问“请分析本案中保险公司的代位求偿权是否成立”？
完了，模型开始胡扯了。因为它微调的数据里，根本没有这种复杂推理的例子。
你看，微调的优势是把输出的格式牢牢锁死，而不是提升模型的推理能力。 这个区别，太关键了。
我还踩过另一个坑。为了测试微调的可控性，我在微调数据里加了一条规则——“每次回答都用一句话”。
结果呢？模型真的只用一句话回答，哪怕我需要它展开说明。问它“请你详细分析……”，它还是一句话。这就是过度拟合的典型症状，模型被训练得太“听话”了。
微调的本质就是给模型加一层严格的约束，让它在特定格式和风格上形成肌肉记忆。但模型的知识和能力，还是依赖它原来的底座。
对了，OpenAI还说了，微调后可以缩短提示词90%。我试了，真的能缩短。原来要用一大段prompt告诉它“你是法律助手，输出JSON，包含字段XXX”，微调后直接问问题就行，模型自动按约定输出，速度也快了不少。
但你要清楚—— 如果你需要复杂的多步推理、外接知识库、实时检索，微调帮不上忙。该用RAG，还是得用RAG。
三、数据安全，才是真正的硬伤
OpenAI在公告里特别强调——通过微调API发送的数据归客户所有，不会用来训练其他模型。
你信吗？
我信。但我不敢赌。
数据安全这件事，你得从两层来看。
第一层，数据能不能出境？ 这是红线。很多政务、金融、医疗、央企，核心业务数据根本不允许离开境内。OpenAI的API连国内都访问不畅，就算你用代理，合规性也是一道大坎。把客户的病历或交易记录送到美国微调，出了事谁担这个责？
第二层，数据能不能出企业？ 即便OpenAI承诺数据不用于训练，但传输过程中、存储过程中被截获的风险依然存在。更别说企业内部对数据外流往往是零容忍政策。
我认识几个CIO，听到“微调”两个字，第一反应不是兴奋，而是困惑——
“我们连云服务都不敢上，你还让我把数据送到OpenAI？”
所以我一直说：只要数据安全还是红线，自研模型就有存在的必要。 这是底线问题，不是技术问题。
哪怕以后OpenAI在国内架了服务器，数据不出境了，但出企业的问题依然存在。很多国企、银行最终要求“模型必须部署在内部机房”，数据不能离网。那自研、或者找国内企业合作微调开源模型，就是唯一的路。
为了KPI和国产化替代，就算OpenAI明天全部开源，照样有企业会花大价钱自研。
这不是技术问题，这是屁股决定脑袋。
四、算笔账：微调到底贵不贵？
OpenAI的定价，我帮你拆一下——
- **训练成本：** $0.008 / 1K tokens
- **输入使用成本：** $0.012 / 1K tokens
- **输出使用成本：** $0.016 / 1K tokens
举个例子。一个100K tokens的训练文件，训练3个epoch（常见设置），总消费token就是300K。训练成本就是300 × $0.008 = $2.40。
2.4美元，一顿午饭钱都不到！ 你看，训练阶段真的便宜到惊人。
但真正花钱的，是使用阶段。
对比一下基础版GPT-3.5 Turbo的定价（输入$0.0015/1K，输出$0.002/1K），微调版的使用成本是基础版的8倍左右。
一个API调用输出500 tokens，基础版成本$0.001，微调版$0.008。如果一天调用100万次，每天多花700美元。一个月下来，那就是2万美元啊！
所以OpenAI也鼓励大家通过微调缩短prompt，用降低总token数来对冲成本。实验表明，prompt缩短90%后，即使单价高了8倍，总成本反而比基础版低。
但前提是——你能大幅缩短prompt。这完全取决于你微调的质量。
那自研呢？
以我微调ChatGLM2-6B为例，至少需要一张24GB显存的显卡（RTX 3090或A10），单卡价格5000到20000元不等。还要考虑服务器、电力、机房、运维人员。小公司折腾下来，没个十万块打不住。
调参、数据清洗、训练、评估、部署，全流程至少两三周。
所以对于想快速验证产品、对数据出境不敏感的小团队，微调绝对是性价比之选，尤其是训练成本才几美元，真的太香了。
但如果你每天API调用量巨大，微调版的单价会让你肉疼。自研模型虽然前期烧钱，但部署后每次推理成本几乎为零（除了电费和算力折旧），规模越大越划算。
五、到底怎么选？我的真心话
基于我自己的折腾，我画了几条线——
坚决选微调的：
- 业务数据不敏感，可以出境
- 产品还在早期验证阶段，想快速看到效果
- 对模型输出有极强的格式约束（比如只输出JSON）
- 不想养算法团队，团队规模小
坚持自研（或基于开源模型微调）的：
- 数据不能出公司或出境
- 需要模型在垂直领域深度定制，涉及大量私有知识
- 每天API调用量极大，控成本是刚需
- 公司有政策要求必须自主可控
当然，也可以两样都要——
先用GPT-3.5 Turbo微调，快速验证产品和市场。等业务跑通、规模上来后，再用微调数据训练一个开源模型（比如ChatGLM、Llama 2）做本地部署。两套并行，给用户切换的选项。
我现在就是这么干的——线上先用微调后的GPT-3.5提供服务，同时在本地用微调后的ChatGLM做备份。一旦哪天OpenAI涨价或出政策变动，我立刻切过去。
最后，几个你没想到但很重要的问题
1. 微调后的模型，会被OpenAI拿去用吗？
官方说不会。但我建议你把微调数据视为机密，不要发任何不能公开的信息。安全圈有句老话——信任，但验证。
2. 4K上下文限制，真的很烦人。
OpenAI说秋天会出16K版，那时候才能处理长文档。现在就当它是“短文本调教师”吧。
3. 微调不是一次性工作。
业务数据变化后，你得重新微调或增量微调。OpenAI还没提供增量微调接口，只能全部重训。这个成本，你得算进去。
4. 千万别以为微调能代替RAG。
微调是改变行为，RAG是喂知识。两件事，不冲突。
5. 秋天还有GPT-4微调和函数微调。
如果你现在就用GPT-3.5微调，可能需要考虑未来的迁移成本。你做得越多，沉没成本越高。
说到这儿，我其实想告诉你一件事——
OpenAI开放微调，是个里程碑。但它没有杀死自研这条路。
相反，它让“大模型落地”这件事，变得更多元了。想做轻量定制的，有了便宜工具；想做深度自研的，依然有广阔空间。
重要的是，别跟风。
想清楚你手里的牌——你的数据能不能出去？你的用量有多大？你现在的团队，能折腾多复杂的事？
别因为别人欢呼就上头。也别因为别人唱衰就退缩。
工具永远是工具。你，才是那个做决定的人。
读者评论 4