大模型微调总结

我差点把显卡烧了，才学会这3个大模型微调的秘密

说个真事儿。

半年前，凌晨3点，我盯着屏幕上那个“CUDA out of memory”的红色警告，真想把电脑从16楼扔下去。旁边几台服务器也崩了，因为它们被我那个贪婪的训练进程连坐搞趴下了。整个实验室，就剩风扇嗡嗡转着，像是在嘲笑我。

那是我的第一次全量微调。

13B模型，52GB的权重，我愣是往一张4090里塞。结果是啥？一个错误，崩了四台机器。 那一刻我懂了：不是所有路都值得硬闯。

你以为Prompt Engineering是王道？错啦

很多人跟我说，现在GPT写Prompt多牛啊，要微调干嘛？

我一开始也信了。

后来接手一个医疗问答项目。我用GPT-4试了又试，背景写了两页纸，示例塞了几十条。回答质量倒是还行——但你想想，每次请求都带这么长的上下文，那个钱烧得跟放烟花似的。更烦的是啥？换个问法，它就答非所问了。你明明问的是“发烧了怎么办”，它给你扯到“发热门诊在哪里”。你说气不气？

后来我一咬牙，搞了几千条真正的医患对话，微调了一个Llama2-7B。

你猜怎么着？

准确率比GPT-4在那场景下高出一截。而且一台4090就能跑，推理成本约等于零。

说到这儿，你就明白了：Prompt是你教别人临时表演，微调是让他真的长记性，刻进骨子里那种。想省事？那就只能忍受它动不动就“失忆”。

全量微调？除非你有矿

你可能要问了：我就想全部参数都微调，效果肯定最好对吧？

天真。

来，我跟你算一笔账。

13B模型，光用FP32存权重就要52GB显存。这还没完，训练的时候你还要存优化器状态、梯度、激活值。业内有个1:1:6的经验法则——模型参数占1份，优化器状态占1份，梯度和激活值加一起占6份。你算算，13B全量微调要多少？416GB显存。

416G啊！你用H100显卡都不够，它才80G。除非你家里有矿，搞得A100集群，否则别碰全量微调。

我的亲身教训？那条4090就是下场。又笨重，又危险，动不动就炸——跟全量微调一个德行。

那咋办？

参数高效微调（PEFT）——只训练极小一部分参数，效果却能追平甚至超越全量。

不是你不行，是你没选对工具。

LoRA才是亲爹

PEFT家族里，三个最出名：LoRA、Adapter、Prefix Tuning。

先说结论：LoRA是王者，不接受反驳。 不是我说大话，你听听我的测试数据。

LoRA的做法很聪明：在权重矩阵边上搭两个小矩阵A和B，训练时只更新这两个降维又升维的小东西。不动主体结构，只改外围那点零件。

我拿RoBERTa在GLUE上测过：全微调用125M参数，得分86.4；LoRA只用了0.3M参数，拿了87.2。你品，你细品——少用99.5%的参数，效果反而更好。

更夸张的是GPT-3 175B那个级别。LoRA用4.7M训练参数，就追平了全微调73.8%的WikiSQL准确率，甚至在SAMSum的ROUGE-L上比全微调还高——45.9比44.5。什么概念？你0.0027%的兵力，打出了比全面战争还好的结果。

最让我兴奋的是推理延迟。小批量场景下（batch=1），LoRA和全微调耗时一模一样，都是19.8毫秒。而Adapter呢？硬生生多出20%到30%的额外延迟。这就意味着你线上的时候，用LoRA微调完，合进权重部署，成本几乎为零。

零额外开销。你听到我笑了吗？

我自己的实操记录：用CodeLlama-13B做LoRA，LoraConfig配r=8，alpha=32，target_modules选"q_proj"和"v_proj"，训练参数量13M，只占整体的0.1%。显存才用了15GB（4bit量化）。一轮epoch下来，loss从2.5掉到0.2，grad_norm稳在1.2。那种感觉，就像是开着一辆省油的车一路下坡——舒坦。

Adapter算前辈了，每层插个小模块，先降维再升维。效果不差，但我在GPT-3上测试，ADAPTER H的ROUGE-L是45.1，低于LoRA的45.9。关键是推理确实慢一截，尤其是生产环境批处理量小的时候，差距明显到让人抓狂。

Prefix Tuning就更别提了。每层注意力前加一串虚拟token，改起来麻烦，效果还飘。我在175B模型上用了20M参数，还没LoRA好。试了一次就不想碰了——这玩意儿就像是没打好地基还能抗震的房子，你今天调好了，明天换个数据就倒了。

一个让你看完会心一笑的统一视角

2022年ICLR有篇论文，把Adapter、Prefix Tuning和LoRA统一到了一个框架下。

简单说，它们都是给模型隐层加一个旁路函数f(x)——区别就是这个f长什么样、插在哪。LoRA是A*B矩阵乘积，Adapter是降维升维网络，Prefix Tuning是改造过的键值对。

就像一个房子里搭积木。有人搭在墙角，有人搭在走廊，有人搭在门口。但本质都一样：不动原来的承重墙，只在旁边补点小结构。 了解这个，选方法时就不慌了。

实操，带着代码的那种

说到这儿，你肯定想问：那到底咋搞？

好，我把我趟过的河重新走一遍给你看。

第一步，选基座。 别一上来就塞最大的模型。7B到13B的LoRA在消费级显卡上完全可行。中文任务用Qwen，代码任务用CodeLlama。别装大尾巴狼——那叫资源浪费。

第二步，准备数据。 简单就好，指令-回复格式。重点来了：数据清洗比你想的重要一亿倍。

我踩过一个坑：训练集里有大量重复内容，结果模型变成了复读机。你说“今天天气不错”，它回“今天天气不错不错不错”。删掉重复后，效果立刻好转。就像你考试前背一百道重复题，真正考个新题你就傻了。

第三步，加载模型量化。 我现在标配4bit量化。80%的显存就是这么省出来的。用nf4类型加双量化，loss几乎不掉。什么意思？就是省了80%的住处，却几乎不降性能。跟白捡一样。

bnb_config = BitsAndBytesConfig(
 load_in_4bit=True,
 bnb_4bit_use_double_quant=True,
 bnb_4bit_quant_type="nf4",
 bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained("codellama/CodeLlama-13b-hf",
 quantization_config=bnb_config)

代码长这样，但你看懂就行。记住了，4bit加双量化是你的省钱大法。

第四步，LoraConfig别配错。 这个我吃了两次亏。

第一次，target_modules只写了“q_proj”，效果还行但差点意思。后来改成["q_proj","v_proj"]，稳了。就像你只打磨一个轮子，车也能跑，但两个轮子都打磨了，它才顺滑。

第二次，我新增了词表（因为加了特殊token），但忘了在modules_to_save里加上“embed_tokens”。结果新嵌入没更新，生成时就崩了。你想想，你给模型教了个新词，但它只认识一半，能不出问题吗？

config = LoraConfig(
 r=8, lora_alpha=32,
 target_modules=["q_proj", "v_proj"],
 modules_to_save=["embed_tokens"],
 lora_dropout=0.1,
 bias="none",
 task_type="CAUSAL_LM"
)

第五步，训练参数自己试。 我的起手式：per_device_train_batch_size=4（取决于显存），gradient_accumulation_steps=4（总batch=16），学习率2e-4，优化器用paged_adamw_8bit省显存。bf16几乎是必须的。

日志一定要盯。loss一直抖不降，就降学习率或者加warmup。我这边从2e-4降到1e-4，稳了。

日志长这样：

{'loss': 0.2186, 'grad_norm': 1.259, 'learning_rate': 5.912e-06, 'epoch': 13.65}

loss到0.2就行了。 别硬追0.1以下，容易过拟合。你不想让模型变成考试机器吧？

第六步，合权重和部署。 微调完记得model.merge_and_unload()，把LoRA矩阵合并到原权重里。这样推理时和普通模型一样调用，零额外延迟。合并后再保存成半精度，文件大小减半，加载也快。

那些你没被告诉的“艹”点

target_modules怎么选？ 网上有人建议全改，q、k、v、o、up、down全来。我试过，参数量翻倍，效果就涨了零点几个点。不值。q和v就够了。如果你想省事，搜一下有没有人给你测好过。

过拟合？ 我刚开始总觉得loss越低越好，10个epoch。结果呢？训练集上输出完美，换个问题就傻了。后来限制在3-5个epoch，效果好很多。就跟你背文章一样：背十遍不如理解一遍。

硬件？ 我用的RTX 4080跑13B加4bit，大概能塞batch=4。33B或70B就别想了，要么多卡上DeepSpeed，要么租云上的A100。7B的话，一张2080Ti都能跑——零门槛。

多模态？ 最近试了BLIP-2，冻结图像编码器，只在OPT部分挂LoRA。足球数据集训了一轮，图生文的描述风格就出来了。LoRA不只会说人话，还能看图说话。

最后叨逼几句

好吧，我承认，我踩的坑比你现在想问的还多。

学习率别太大。AdamW默认1e-3，我用它直接飞了loss。LoRA的常识是1e-4到5e-4之间。别硬搞。

量化类型选nf4，比int4好。双量化进一步省显存。我还没发现它损失啥。但如果量化后模型变傻了，试试bf16加载部分层。

训练数据别乱填。有人以为越多越好，塞满废话。记住，500条精心挑选，远好过5万条生搬硬套。

别忘了验证集。很多教程只看loss，但loss降了不代表学对了。分20%数据做验证，每轮对比，验证loss开始涨了，赶紧提前停。别等它掉进坑里才喊救命。

如果你不差显存，可以在更多层上加LoRA，或者调高rank到16-32。但说实话，r=8在很多场景下已经够用，再往上收益递减。

更大的模型在LoRA下提升更明显。GPT-3 175B那些数字就证明了：即便这么大的模型，LoRA一样能比肩甚至超越全微调，而训练参数只有0.0027%。所以别担心LoRA只对小模型有用。

现在多卡训练越来越方便了。DeepSpeed zero2配合PEFT，轻松在2-4张卡上跑33B的LoRA。我在两台3090上试过13B全微调——当然不可能。但LoRA的话，一张就够了。

零门槛到三十亿级别。这就是LoRA给你的。

所以现在，如果你问我微调怎么入，答案很明确：

找个靠谱的基座模型，准备干净的数据，上LoRA，r=8，q和v，4bit加载，训三五个epoch。

先跑通，再优化。

别一上来就搞花活。微调不是黑魔法，它就是一把扳手。你用得好，你的模型就能真正替你干活。而不是只会讲漂亮话。

好了，我说了这么多，你呢，该动手了。

微调从来不是黑魔法，它就是给你心爱的模型换套合身的衣服。好了，衣服给你了，穿上吧。去跑，去调试，去把你的业务语言，刻进它的骨头里。