垂直领域大模型的思考

---

我花了两年时间，才真正搞懂“垂直大模型”是个什么东西

你们发现没有？

最近打开朋友圈，十条内容里八条在聊ChatGPT、文心一言、通义千问。这些模型呢，你说它不行吧，它啥都能聊两句，写诗、编故事、给你推荐电影，一套一套的。但你说它行吧，你一真让它干活——比如写一份合同，或者分析一张化验单，它就给你打哈哈。

“我就是在这种情况下开始怀疑人生的。”——上个月我一个做律师的朋友跟我喝酒，拍着桌子说的原话。

来，先捋袖子给你看看我的胳膊。

我这两年可没少踩坑，踩得脚底板都起老茧了。今天不说那些虚头巴脑的理论，就把那些血泪教训掰开揉碎给你看。

---

你猜怎么着？两年前我差点拍死“垂直大模型”这玩意儿

2023年底那阵子，GitHub上那叫一个热闹。

“法律大模型”、“医疗大模型”、“金融大模型”……光我点进去看的就不下几十个。你猜我看了什么感觉？

就四个字：心头一凉。

90%的东西，说白了就是套了个ChatGPT的壳，写了十几条prompt，就敢往自己脸上贴金。你问它“心肌梗死合并糖尿病该用什么药”，啊呸，它给你扯一堆“合理饮食，注意休息”的废话。

那一刻我真的以为：所谓垂直大模型，大概是个伪命题。

但后来呢？后来我被我自己的结论给打了脸。

今年我测试了一个叫ChatLaw的模型（北大开源的那个）。一开始我也抱着审视的心态——不就是个langchain吗？结果越看越懵。

这个家伙有意思在哪儿呢？它不像普通人那样直接问问题就搜答案。它专门训练了一个极小的模型，只干一件事：关键词提取。

你感受一下这里面的差异。

传统方法提取关键词：就找高频词、专有名词。“公司拖欠工资怎么办”，它给你提取出来就“拖欠工资”四个字。

但ChatLaw那个小玩意儿呢？它干的事儿叫“语义补充”。同样的提问，它不光提取“拖欠工资”，还能自动生成“劳动仲裁”、“工资支付暂行规定”、“经济补偿金”这些相关关键词再去检索。

懂了吗？

我试过一个具体的场景。用通用模型问“股东会决议无效的情形”，它给你列一堆法律条文，看着专业，但你仔细看就知道全是教科书上抄的。而ChatLaw呢？人家直接检索了五个真实无效决议的判例，把核心争议点给你标出来了。

这就叫“调用了真东西”，不是“复述常识”。

所以啊，垂直大模型不是个伪命题，但被做烂了的那些，确实是个伪命题。

真正管用的垂域模型，一定在三个地方下过死功夫：领域数据的深度清理、检索逻辑的精细设计、输出风格的对齐。三个缺一个，就是忽悠。

---

我问你个问题：你觉得小公司上来就想微调模型，靠谱吗？

这话我说得直白一点：别一上来就琢磨着怎么撸铁炼模型，那是大厂干的事。

去年我接过一个让我至今记忆犹新的项目。

客户要做医疗问诊助手。甲方一开口就是“我们想自己训练一个医疗大模型”。我问预算多少，人家特别认真地跟我说：“老板说了，几万块。”

我当时真的没憋住，没笑出声来，但我心里在哭。

你想想，几万块，你训练个十几亿参数的小模型都够呛。你还想跟那些百亿、千亿参数的通用模型掰手腕？

后来我拦住他们了：别急，咱先别往坑里跳。我给你们一个建议：直接用现有大模型的API，搭一个RAG。

什么叫RAG？ 说人话就是：你有个超级聪明但啥新知识都不知道的助手，你把它关在一个装满资料的图书馆里，问啥它先翻书再回答。

具体怎么做呢？

我帮他们清洗了大概2000份病历、临床指南、药品说明书。切成小块存到数据库里。用户提问，先检索最相关的5到8个段落，然后丢给大模型（当时用的是Qwen-72B），让它基于这些资料回答。

上线跑了一个月，你猜效果怎么样？

连医生都觉得“还行”。 常见病症的准确率达到85%以上。

这个数字别人听着可能没啥感觉，但你做过这行就知道——在一个专业领域里达到这个准确率，已经算意外之喜了。

但你也别以为微调就一点用没有。

真正需要微调的场景，是这些：你对输出格式有极其严格的要求；你需要模型“理解”你这个领域的黑话和逻辑。

比如法律文书生成。你必须确保模型输出的合同条款在法律上是严谨的，格式是标准的。这种事儿RAG还真搞不定——因为大模型自己就不懂“乙方违约责任”和“赔偿上限”之间的法律关系。

后来那个医疗项目我也补了微调，主要是两个方向：

一个是让模型学会“拒识”。比如患者问“这个药多少钱”，模型要能识别出这是非医疗问题，礼貌地告诉ta去问药店。

另一个是风格对齐。医生说话和病人说话的语感完全不一样。我找了2000条医生写病历的真实数据，微调后模型输出不再啰嗦，直接给诊断建议和方案。

所以我的经验就是一句话：先用RAG快速验证价值，再用微调在关键场景做优化。两条路谁也别看不起谁。

---

说到落地……我跟你讲，一肚子苦水！

先说说文档切分。这事儿真的把我折磨得不轻。

你想构建医疗知识库，一堆PDF扔进来。你以为直接切块就完事儿了？

天真。

给你说个真实的血泪史。有一份120页的《高血压基层诊疗指南》，我让实习生按老规矩，每500字切一刀。

结果呢？模型问“ACEI类药物的禁忌症”，检索到的段落只包含“ACEI类药物的使用注意事项”的后半句。前半句“禁用”的关键信息呢？被切到上一个片段去了，根本检索不到。

这一来一回，模型答得牛头不对马嘴。

后来我用的是一个叫“语义切分”的方案——按章节标题、段落逻辑来切。虽然麻烦了一些，但准确率一下子提了近20个百分点。

再说召回这事儿。

很多人以为向量检索是万能的。我跟你说，也未必。

你问“某公司的子公司法人涉及过哪些诉讼”，纯向量检索直接抓瞎。为什么？因为“子公司”、“法人”、“诉讼”这三个概念在向量空间里是分散的，一个向量很难同时命中三个维度。

我后来试了混合检索——把向量检索和传统的BM25关键词匹配结合起来，效果好了很多。但真正让我眼前一亮的，是Graph RAG。你得把企业年报、股权结构这些信息提前抽取成知识图谱。这个方向虽然还在试验，但已经可以看到是未来了。

最后说成本。

这可能是最容易被忽略的坑。

有个客户想自己部署一个模型到私有服务器。我帮他算了一笔账，算得我都不好意思开口。

一台A100的服务器（80G显存）大概20万，能干的事儿还特别有限。如果你想跑大一点的模型（比如DeepSeek-V3 671B），得配个集群。算上运维、更新、调优，一年下来少说50万。这还是没算数据清洗和人力成本。

所以垂直大模型，真不是小玩家的游戏。

你要是中小企业，老老实实用API搭RAG，性价比最高。

---

未来到底往哪儿走？我琢磨了两个方向

一个是“大模型+私有化部署”的模式，我预感今年会爆发。

已经有企业这么干了。我听说某大厂买了DeepSeek-V3（671B参数的开源模型），在自己的机房部署，既享受大模型的智力，又不用把核心数据外传。你看，阿里云、腾讯云、华为云这些平台，未来很可能把“私有云+大模型”打包成标准产品来卖。

另一个是垂直模型的“行业深度”会成为真正的护城河。

通用大模型的知识是“广度”，垂直模型是“深度”。你不光要懂数据、懂算法，还得懂行业逻辑。

拿金融风控模型举例。它不光是识别“资产负债表”这个词，还得理解“资产负债率大于70%意味着什么”、“流动比率和速动比率的差异在哪儿”。这种行业常识，靠堆参数是堆不出来的。

我从去年开始就劝身边做AI的朋友：多补补业务知识。你光会调模型没用。你得能跟律师聊得懂合同细则、跟医生聊得懂诊疗路径、跟会计师聊得懂报表勾稽关系。

这才是垂直大模型真正的护城河，不是什么算力、参数，更不是数据量。

---

最后说几句掏心窝子的话：

有人问：垂域模型需要从头训练吗？

没必要。绝大多数情况都是基于通用模型二次开发。预训练太费算力，你也没那么多领域数据。

有人问：数据隐私怎么搞？

就是前面说的——自己买服务器部署，或者用靠谱的云平台。别图省事用公开API传敏感数据。

有人问：小公司能玩吗？

能，但别想着自己做模型。先用RAG验证价值，证明业务部门愿意用，再考虑要不要往深里投钱。

最后一个问题，也是最容易被忽视的：

持续更新。

行业知识是活的。法律条文会改，治疗方案会更新。三个月不更新知识库，模型输出就可能误导人。这是很多人踩了坑之后才意识到的。

---

垂直大模型不是万能灵药，但方向确实对了。

别被那些“什么都懂什么都干不好”的通用模型忽悠，也别被“一套方案打天下”的销售给骗了。

踏踏实实搞清楚你的具体业务场景，选对技术路线。

比什么都强。