垂直领域大模型微调实践经验
搞了两年垂直领域大模型微调，我最深的体会是——这玩意儿真不是堆参数就行的。
不绕弯子了，直接说我踩过的坑。从显存炸裂到模型胡说八道，从一万条垃圾数据喂进去直接“失忆”，到后来一条高质量问答让模型能力明显提升……今天我把这些经历一条条说出来。你看完，至少能省下我这大半年瞎折腾的时间。
先讲个故事，你就明白我为什么铁了心做微调
前一阵有个客户，非得让我用GPT-4做医疗问答。每次调用都得塞一长串“你是一个专业的医疗助手，请根据以下化验单……”的提示词。好嘛，问题里的词稍微变几个，回答就开始飘。有一次模型居然说“根据化验单，你可能是怀孕了”——拿着乙肝化验单测出怀孕？我当时血压就上来了。
一个月下来，API账单看得我心疼。花钱多，真不一定能把事办好。
后来我把一个7B模型在医疗数据上微调了一轮，直接本地部署。在特定测试里，效果比GPT-4还靠谱，而且推理成本几乎为零。你敢信？微调就是让模型真的理解你的业务逻辑，而不是每次都要临时抱佛脚。
选基座模型——别迷信参数，要对症下药
我第一批测试的基座：Qwen-7B、DeepSeek-R1-Distill-Qwen-7B、BLOOMZ-7B，全都用同一套医疗数据集。
你知道效果排名是什么样吗？
- **BLOOMZ-7B**在医学知识问答上明显强于其他两个。为什么？因为它预训练语料里本来就有一大堆PubMed文献。**搞医疗、法律、科研这些知识密集型领域，优先选预训练语料覆盖了你领域数据的基座。** 参数大不一定好使——BLOOMZ-7B的医学能力吊打了不少13B通用模型，这有点反直觉，但事实就是如此。
- **DeepSeek-R1-Distill-Qwen-7B**在推理任务上最亮眼。它从671B的大模型蒸馏出来，少量数据就能提得动，适合诊断推理、合同条款分析这些需要逻辑的场景。
- **Qwen-7B**中文化好、生态成熟，配合LLaMA-Factory一键微调，对新手最友好。
我的建议：先查基座模型的预训练语料，选跟你领域最接近的。 别听人瞎吹参数大就好，基座选错了，后面怎么追都费劲。
模型架构——别指望一个模型包打天下
我在这上面栽过最大的跟头：试图用一个微调模型解决所有问题。
结果呢？医疗问答做好了，日常聊天变傻了；专业术语说准了，常识性回答反而崩了。跟自己折腾自己差不多——后来我学乖了：微调模型只负责核心业务推理，边角料任务交给RAG或者通用模型。
比如我现在的医疗产品，架构是这样的：
- 微调模型（7B量化后4.2G）专门处理化验单解读、症状分诊
- RAG挂载最新药品说明书和临床指南
- 通用模型（原版Qwen）处理挂号、科室介绍这些常见问题
三个东西配合，各司其职。微调模型不用背负所有功能，参数量7B完全够用。
另外，一个我验证了多次的发现： 百亿参数模型量化到4bit，能力保留程度明显优于同样量化后的7B模型。如果预算允许，13B甚至70B量化后跑本地，效果远超同量化级别的7B。
数据设计——我吃过的“垃圾进垃圾出”的亏，说出来都是泪
刚开始做微调，我在网上扒了2万条医疗对话，一股脑扔进去训练。结果模型不但没变聪明，连正常的“你好”都回不利索了。你知道我当时什么心情吗？想砸电脑。
后来才明白几个铁律，一个一个跟你说。
1. 数据质量碾压数量，Less is More
我拿两套数据做了对比：
- 2000条噪音较多的网上医疗对话
- 200条由医生标注的高质量问答
结果200条那组的模型在专业问题上准确率比2000条的高出37%，就是这么夸张。大量低质SFT数据会让模型丧失指令遵循和链式思考能力。 所以，宁缺毋滥。
2. 必须混入通用数据，防止灾难性遗忘
微调医疗模型 ≠ 放弃通用能力。你希望模型既能看病，也能正常聊天，而不是变成一个只会背医书的机器。
现在我每次微调都按7:3的比例混入领域数据和通用对话数据（从原模型训练集采样）。7是领域数据，3是通用数据。这样微调后的模型，既能看病，也能陪人闲聊。这一点做不好，你会发现自己微调出一个偏科生，除了你的领域，其他全费了。
3. 要做二次预训练？先准备好10倍配比
如果你有海量领域文档想做二次预训练（比如50G的医学教材），千万别直接喂进去。我有个朋友这么干过，结果模型PPL直接崩到了8.0，彻底废了。正确做法是：添加5-10倍原始预训练数据混在一起训。 所以，小团队基本玩不起二次预训练，老老实实做SFT才是正路。
4. 噪音不可逆——这可能是最可怕的
连续重复单词、乱码、中英文混排……这些垃圾数据哪怕只占0.1%，都可能在模型参数里留下很难抹掉的痕迹。我团队现在数据清洗环节三个人轮查，每人随机抽100条人工校验。宁可少训，也不能脏。 因为一旦脏了，只能从头再来。
5. 混合多种能力要讲究技巧
想在一个模型里同时注入问答、生成、分类、推理？我试过直接混合，结果每种能力都打了折扣。后来参考相关研究：低资源能力遇到高资源能力时，前者会被压制。 我的做法是先训主要能力（比如问答），再附带少量其他能力（比如摘要），每种能力的数据量按比例严格控制。
训练微调实操——从显存炸裂到4G模型跑起来
全量微调是奢侈品
我第一次想微调13B模型，天真地以为一张3090 24G就够了。结果一查全量微调需要好几百GB显存，根本不是一块显卡能搞定的。那种绝望，你懂的。
后来全线改用LoRA。以7B模型为例：
- 全量微调需要约56G（FP16）
- LoRA（r=8）只需要16G左右
- QLoRA（4bit+LoRA）只需要6-8G
我现在的搭配：LLaMA-Factory + QLoRA + 4bit量化，一张RTX 4090D 24G，轻松训7B。 训练完把LoRA权重合并到基座，再转成GGUF格式，用llama-quantize量化成Q4_K_M，最终模型只有4.2G。惊不惊喜？4.2G，带得动。
下面是我跑通一次完整医疗微调的流程，每一步都验证过。
第一步：云端微调
数据集是我自建的2000条医疗问诊（医生标注过），格式按ShareGPT。在LLaMA-Factory里选Qwen-7B基座，QLoRA微调，batch size=4，梯度累积=2，跑3个epoch。显存占用峰值7.8G。
训练完合并权重，得到一个HF格式文件夹merged_qwen7b_medical。
第二步：本地量化
我在Windows上操作，装好依赖（torch、transformers、sentencepiece等），用convert_hf_to_gguf.py转成FP16 GGUF。
注意：路径一定要用绝对路径！ 我第一次用相对路径，死活找不到文件，浪费了一小时。这种低级错误，我可不想你也碰到。
第三步：Q4_K_M量化
对7B模型来说，Q4_K_M是最优档位。精度跟FP16几乎没差别，体积从14G降到4.2G，显存占用只有4.5G左右。用llama-quantize命令一把搞定。
第四步：Ollama部署
写Modelfile，模板用LLaMA-Factory自动生成的，改一下路径和系统提示词。我设的temperature=0.5、num_ctx=4096、num_gpu_layers=999（全部GPU加载）。
ollama create qwen-med:7b -f Modelfile
ollama run qwen-med:7b
全程没报错，直接开聊。那一刻，差点感动哭了。
核心验证：微调到底有没有用？
光说不练假把式。我用同一道真正有临床意义的乙肝化验题，分别问原版Qwen-7B和我微调后的医疗模型。
测试问题：
HBSAg=35.5、HBSAb=0.47、HBeAg=0.31、HBeAb=0.02、HBcAb=0.001，HBV-DNA 7×10³ IU/ml，ALT 48，AST 43，轻度偏高。请问是大三阳还是小三阳？病毒复制高低？要不要抗病毒？
结果对比：
| 维度 | 原版Qwen-7B | 微调医疗模型 |
|------|------------|-------------|
| 判定结果 | 误判为全部指标阴性，无法区分大小三阳 | 乙肝小三阳 |
| 病毒载量 | 胡乱说“高水平复制” | 7×10³ IU/ml，低水平复制 |
| 肝功解读 | 说转氨酶正常 | 轻度升高，轻微肝细胞损伤 |
| 治疗建议 | 模棱两可 | 无需立刻抗病毒，定期复查随访 |
微调后的模型输出完全符合临床指南。这不是偶然，我在20组测试题上复现了类似的结果。微调的价值还需要怀疑吗？前提是你的数据对、方法对。
更多玩法：蒸馏与联邦
这两条线我没在正式项目里用过，但做过实验，简单说说，给你开开眼界。
知识蒸馏： 我试过用Qwen-72B当老师，蒸馏一个7B学生模型。在线蒸馏显存扛不住，改用离线蒸馏——让老师一次性跑完数据集，把软标签存下来再训学生。软标签确实大（1B tokens存下来要一两百GB），用蒸馏树压缩后能降到十几GB。结果学生模型在专业任务上比直接从7B微调高了15%左右。15%，这点提升很可观。
联邦微调： 跟医院合作时试过一次。数据不出院，我们用FedAvg聚合算法加LoRA。每家医院在自己本地跑几个epoch，只上传LoRA权重到中心服务器聚合。一轮通信量才几十MB，效果跟集中训练差不到3%。如果你有多个数据源，但不能碰数据，这条路走得通。
最后几句实在话，拿走不谢
1. RAG和微调不冲突。 我现在产品里两个都用——微调保证核心任务上的准确性，RAG则给模型提供最新知识，确保时效性。二选一？那是业余选手的思维。专业选手，我全都要。
2. 7B是入门，13B算是甜点，70B是更远的目标。 看你的预算和场景。我见过用7B落地成功的，也见过130B训完根本跑不起的。别盲目追求大，适合你的才是最好的。
3. 搞好数据清洗，比调模型参数重要十倍。 我宁愿花80%的时间做数据，20%的时间跑训练。方向反了，后面全是白忙。记住：垃圾进，垃圾出，这个道理在AI时代依然成立。
4. 微调不是终点，迭代才是。 我每个季度都会用新产生的业务数据再训一轮，每次效果都有明显提升。模型不是训一次就完事的，它应该是你业务的延伸，跟着业务一起成长。
最后，别信那些吹“500条数据微调就超越GPT-4”的帖子。要么是噱头，要么是你的测试集刚好撞上。我用医生标注的高质量数据微调后，模型能力确实有提升，但离全面超越GPT-4还差得远——只在特定窄领域做到了可用甚至好用。
好了，该说的都说了。微调这件事，说难也难，说简单也简单：数据要干净，方法要对路，心态也得摆正。做到这几点，你已经赢了90%的人。剩下的10%？交给时间去迭代。
你拿去有用，我就高兴了。 有不同意见欢迎来骂，搞技术的不搞虚的。咱们下篇见！
读者评论 2