图解大模型微调系列之:大模型低秩适配器LoRA原理篇

---

开场白：你不是一个人在发愁！

嘿，朋友！你是不是也干过这事儿？看着网上那些动辄几十G、上百G的“大模型巨人”，心里痒痒的，想自己动手“调教”一下，让它更懂你。结果一摸钱包，再看看显卡那可怜的显存，瞬间就怂了？

这痛我太懂了！全量微调那玩意儿，简直就是烧钱的火炉子。就拿Meta的Llama 2 7B来说吧，不算别的，单卡A100，batch size开个4，跑完一遍数据集，三天三夜都下不来！电费账单看着都心慌。

所以大伙儿都在找省钱的路子。LoRA这两年火得一塌糊涂，原因贼简单：这哥们儿是真省钱！而且在好多任务上，效果还出奇地好，跟全量微调比愣是差不了多少。

但你发现没？网上的教程，要么把原文论文当圣经念，丢一堆看着眼晕的希腊字母公式；要么直接甩给你代码，“run一下就好”。没人好好跟你唠，这玩意儿到底是怎么被想出来的？用起来又藏着哪些坑？

今天咱不整虚的，我就用自己实操踩过的坑、读论文的原汁原味理解，掰开揉碎了跟你说道说道。咱们就聊透下面这五个问题，保证你听完心里门儿清。

一、全量微调，到底贵在哪？

说到全量微调，它就是个“烧钱祖宗”，贵在两层意思上。

头一层，显存贵得肉疼。

你想想，微调个大模型，它不光模型本身占地方。你还要带上优化器（比如Adam，它自己要存两套状态，参数直接翻三倍！）、梯度、还有中间算出来的激活值。

拿LLaMA 2 7B来算笔账：模型参数一装，14GB没了（FP16）。AdamW优化器再一来，嚯，又给你加42GB。算上梯度、激活值，哪怕只塞一个batch，显存就奔着70–80GB去了。一张80G的A100勉强能塞下？可你稍微想多喂点数据，它立马就“噗嗤”一声爆了！而且你还只能单卡训，想想那时间成本……

另一层，时间长得让人心慌。

全量微调，要更新几百亿个参数啊！每个参数都得反着算一遍，计算量指数级往上窜。碰上BLOOM 176B那种怪兽，你得动用好几百张GPU，并行训上好几天。光是显卡之间互相倒腾数据、传递消息的开销，就够让人头疼的了。

所以大家就开始琢磨：能不能别这么傻，只训练一小撮核心参数不香吗？于是“参数高效微调”（PEFT）这条路就被走出来了。最早上场的是Adapter和Prefix Tuning这两兄弟。结果呢？俩各有各的致命伤。LoRA就是在它们的基础上，打了个漂亮的补丁。

二、Adapter和Prefix Tuning，到底“病”在哪？

先说Adapter。

它在每个Transformer层的大路边上又盖了个“小凉亭”——一个“瓶颈”模块，像个沙漏，先把维度压扁，再拉长。训练的时候，原来的大路不动，你就专心把这个小凉亭装修好就行。

听起来挺机灵，参数确实少。但缺点也特别坑。

首先，推理的时候它成了累赘。你本来开着跑车直接冲过路口，现在非得先拐进凉亭转一圈，这不慢了嘛！我在一个3.5亿参数的模型上试过，加了adapter后推理速度直接掉了近10%。线上服务要是这延迟，用户早跑了。

其次，搞并行训练的时候问题更大。本来大路修得整整齐齐，通讯效率很高。现在中间多了个凉亭，大家还得停下来等你同步消息。在大模型场景下，这个毛病会被无限放大。

再说Prefix Tuning。

这招更“鸡贼”，它不插模块，而是在输入句子前面硬塞一堆可训练的“专用词”（前缀token），像是给模型的一个“任务小抄”。你只更新这些小抄，其他的不动。

我一开始觉得这招挺妙，后来才发现它太难练了。原作者自己也承认：这小抄的效果不是越长越好，就那么几个字最管用，多了反而帮倒忙。而且这些小抄还占用了模型看真正输入的位置。要是任务本身就很长，比如写个文档摘要，你再扣掉几个字的小抄，模型看到的有效内容就更少了。

你看，这两兄弟一个引入了“延迟”这个新麻烦，另一个既难练又占地方。那LoRA这匹黑马，是怎么绕开这些坑的呢？

三、LoRA那套“降维”打法，是咋想出来的？

说到这儿，就不得不提2022年那篇ICLR论文了。微软团队把整个思路讲得特别清楚。

核心想法： 他们不对模型原来的大矩阵W（维度d×k）直接做全身大换血（更新ΔW），而是假设这个“换血量”（ΔW）很低调，是“低秩”的。意思是说，它能够被两个小矩阵的乘积给装下来：ΔW = B·A。你看，B是d×r，A是r×k，这个r（秩）特别小，一般就4、8、16。训练时，原矩阵W被冻住不动，你只管练B和A。这样参数量直接从d×k降到了(d+k)×r，一下少了上万倍！

还记得代码里的初始化吗？B初始化为全0，A用随机高斯初始化。这样一上来B·A=0，模型输出一点没变，咱们是从零开始进行“微调”。

还有个特别讲究的设计：缩放因子α/r。作者一般设α是r的倍数，比如r=8，α=16。训练时把ΔW乘以α/r来控制更新幅度。你想想，要是低秩部分一上来步子太大，不就扯着蛋，把预训练的能力给破坏了吗？

我刚开始自己写LoRA时就犯过傻，忘了加这个缩放因子。结果你猜怎么着？没过多久，loss（损失值）直接飞到天上去了！后来翻代码才发现这个超参数。大家千万记住，默认一般就是16或32。

最关键的一点： 推理阶段，完全可以把W' = W + B·A合并成一个新矩阵。这样一来推理时结构完全没变，一点额外计算都没有！这比adapter那种加层的方法，工程优势简直太大了！

原论文只在Attention的Wq和Wv上加LoRA，但后来大家发现其他全连接层也可以加，效果也不差。比如QLoRA这个狠人，就在所有线性层上都加了LoRA，效果照样顶呱呱。

四、凭啥说“低秩假设”就能成？本征维度是玄学吗？

我第一次读到这儿，脑子里也蹦出一个大问号：凭什么大模型的参数更新量就是低秩的？听着也太反直觉了！模型几百万维的参数，你告诉我说，真正能自由变动的方向就那么几十个？

这其实背后是有学术渊源的。

有研究提出了“本征维度”这个概念。他们发现训练一个网络到某个水准，完全可以只在一个低维空间里搜索参数。翻译成人话就是：参数空间里真正有效的“变道”方向其实很少。

LoRA作者就把这个想法搬到了微调上：既然全量微调时那个需要更新的ΔW的“有效秩”可能很小，那我直接用低秩矩阵去近似它，理论上就不会丢掉太多能力。

后来的实验也证明了这一点：模型的不同层重要性不一样。有些层的B·A需要的“宽度”（秩）大一些，有些层小一点就行。

但理论和实际总有点差距。我自己在生成任务上试过，当r（秩）小到1或2时，效果确实会明显变差。一般r=8是个比较稳妥的起点。任务越复杂，需要的秩就越高。比如指令微调，r=16可能更好；简单的分类任务，r=4就能接近全量微调的效果了。

另外，低秩假设能奏效，还有一个大前提：预训练模型本身已经是个“学霸”了！ 它已经学了海量的通用知识，所谓的微调就是教它在考试时把答案稍微变一变。如果模型本来就是个学渣，或者你要解决的问题跟它学的知识差别太大（比如从通用文本跳到极其专业的医学领域），那低秩这一招可能就不够用了。

五、LoRA实战里到底有多少坑？

最后，结合自己一路踩过的坑，跟你好好唠唠实操要点。

先聊rank (r) 的选择。

上面说了默认r=8可以，但我建议你先做个“快速实验”：拿一小部分数据分别试试r=4、8、16。我就在一个几十万条的中文对话数据上试过，r从4升到8时效果明显变好；从8升到16变化不大，训练时间却多了一倍。所以最后选了r=8。如果你资源充足，调大点也行，但一般超过32就没什么必要了。

再讲缩放因子α怎么调。

原论文推荐α/r = 2 或 4。我一般用α=16，r=8，也就是缩放为2，效果挺稳。如果你感觉训练不稳定，可以调低α（或者调高学习率，保持缩放稳定）。你也可以把α设大一点，比如64，给低秩模块更多学习空间，但别太过火。

在哪些层上“下钩子”？

原论文只对Attention的W_q和W_v下钩子。但现在大部分主流库（比如PEFT）默认对所有全连接层都加了LoRA。我自己的经验是，任务比较简单时只对Attention做，参数确实少很多，但在复杂任务（比如数学推理）上效果可能会差一点。所以如果不是特别缺显存，建议对“所有线性层”下钩子。量化时要注意：模型权重是int4，但LoRA的A、B还是用fp16或bf16，这没问题。

学习率怎么设？

LoRA因为只训练很少的参数，所以一般需要较高的学习率（比如在LLaMA上，用1e-4到2e-4都挺合适）。如果你同时训练多个LoRA模块，要留意它们收敛速度可能不一样。如果loss震荡得厉害，降低学习率、同时提高α/r，是个好办法。

要不要用学习率调度器？

我用余弦退火（cosine decay）比固定学习率效果要好一些。热身（warmup）一般设100步以内（总步数不多的话不加也行）。

和那个“自适应的AdaLoRA”有啥区别？

AdaLoRA思路更高级，它能动态调整每个模块的秩，甚至自动砍掉不重要的部分，非常省资源。但实际操作中我发现它的收敛速度不一定更快，代码也更复杂。小规模任务直接用LoRA加合适的r就够了。只有当你需要大规模微调很多任务时，AdaLoRA的优势才体现出来。

多机多卡下，别掉进陷阱！

单卡训练很简单，用peft库一步到位。但多卡时，比如用DeepSpeed，LoRA的小参数分布在各个卡上，会有一些梯度通信。如果你用了ZeRO-3，参数收集和释放可能带来额外开销。解决办法是把LoRA模块的参数单独设置all_gather策略，或者直接用FSDP（但注意不要让LoRA参数也做分片，否则可能出错）。

金句收尾：说两个你可能没想到的真相

好了，说了这么多干货，最后再跟你聊两点，保证颠覆你的认知。

一个：LoRA可以和量化共存吗？

完全可以！一个叫QLoRA的技术就是这么干的。它把底座模型压在4位，显存直接降到原来的四分之一！然后LoRA的A、B矩阵用bf16去学。效果呢？能逼近全参微调。我自己就在两张3090上，用QLoRA微调过70B的模型！速度虽然慢点，但显存完全可行！

另一个：LoRA会学得“过拟合”吗？

会的！如果你的任务数据非常少（比如只有几百条），又用了很大的r，那模型很可能“死记硬背”，在新数据上表现很差。经验是把r降到1甚至2，再加点dropout（随机丢弃，默认0.1，我有时加到0.2），或者用多任务训练和权重衰减来防止它学太“死”。

好了朋友，希望今天这番掏心窝子的分享，能让你对LoRA有个更接地气的理解。它不是深不可测的魔法，而是踩在前人肩膀上，用智慧绕开工程难题的漂亮解法。

下次你再看到同学对着全量微调烧钱叹气时，就可以拍拍他肩膀，笑着跟他说：“别愁了，参数变少了，但可能性变大了。” 😉