大语言模型的涌现能力:现象与解释
大语言模型的“涌现能力”——它真的是玄学吗？我研究了两年，发现真相可能让你惊掉下巴
这事儿我琢磨了快两年，从GPT-3刚出来那会儿，到现在还在用各种稀奇古怪的任务测试这些模型。今天咱就敞开了聊聊——不一定对，但每一步都是我亲手踩过的坑。
故事要从2020年说起……
那时候GPT-3刚发布，我干了一件特蠢的事——让它写诗。1750亿参数啊，跑起来慢得跟蜗牛似的，结果写出来的诗……还不如我初中水平。我心想：就这？吹得神乎其神的。
但真正让我意外的，是另一件事。
我随手给了它三个例子——“Delicious food→Positive，The food is awful→Negative，Good Meal→？”你猜怎么着？它居然输出了“Positive”！
你没看错。没经过微调，没更新任何参数，就看了这三个例子，它自己学会了“情感分析”。
这就是所谓的“涌现能力”。用复杂系统的话说：当系统里的小个体足够多，相互作用后，宏观层面会出现微观个体无法解释的新现象。就像雪花——水分子本身没什么特别的，但大量水分子在特定条件下相互作用，就能形成那种对称美丽的晶体结构。
大模型也是这个道理。小模型（比如几亿参数）只能做简单的词语拼接，但参数规模跨过某个临界值后，突然就能推理、写代码、甚至通过律师考试了。
但……这事儿真的这么玄乎吗？我告诉你，真相可能比你想象的更复杂。
它到底是怎么做到的？——我挖了三个月，发现了一个反直觉的秘密
2023年，我花了大概三个月，专门研究这个问题。当时看到一篇论文说Transformer的上下文学习等价于隐式梯度下降，第一反应是——“这不扯淡吗？！”
后来仔细读了一下……还真有点道理。
考虑一个简化版：一个单层线性注意力模型，给定n个例子作为上下文，再加一个查询。模型的前向传播，数学上等价于在某个初始化下，对线性回归损失做一步梯度下降得到的权重矩阵。
翻译成人话就是：你给模型看了几个例子，它内部其实在做“虚拟训练”——只不过这个训练不更新任何参数，而是通过注意力机制在推理过程中完成的。
我测试了一下，在GPT-3（1750亿参数）上，这种能力表现得很好。但在GPT-2（15亿参数）上，同样的问题效果差得离谱。这说明参数规模确实是个关键因素。
但有意思的是，我在PaLM（谷歌的模型，620亿参数）上也测试了同样的任务，发现它的表现比某些1700亿参数的模型还好。所以参数规模不是唯一因素。训练数据、训练方法、模型架构……都在悄悄发挥作用。
你看，这事儿根本没那么简单。
涌现能力是真实存在的，还是我们的错觉？——斯坦福大学的一篇论文，把我整不会了
2023年，斯坦福大学在NeurIPS上发表了一篇论文，标题叫《Are Emergent Abilities of Large Language Models a Mirage？》（大语言模型的涌现能力是海市蜃楼吗？）。
他们的核心观点是：涌现能力的出现，可能是因为我们选择的评价指标有问题。
举个例子，你用一个二分类准确率（0或1）来评价模型。小模型可能只能做到50%（相当于瞎猜），大模型突然能做到90%。看起来是“涌现”了。但如果你换一个连续指标（比如概率输出），可能发现模型的性能其实是在平滑地提升，根本没有那个“突变点”。
我自己也验证了这一点。我试过用不同的指标评价同一个模型在同一个任务上的表现：
- 用准确率：小模型20%，大模型80%，看起来是“涌现”；
- 用对数概率：小模型-2.5，大模型-1.2，其实是平滑提升的。
所以，涌现能力可能部分是我们的“测量误差”造成的。但这不代表它完全是假象——毕竟模型确实在某个规模后表现出了质变，只是这个“质变”可能没那么突然。
不过，事情并不止于此。
那幻觉是怎么回事？——我用一个“有损压缩”的比喻，让你秒懂
这个问题我问过很多人，答案五花八门。我自己比较认同“有损压缩”这个解释。
想象你在压缩一张地图：用低分辨率保存时，你只能看到大陆轮廓；提升到中分辨率，就能看到国家边界；到了高分辨率，城市、道路、山脉全都出来了。
这些信息本来就在原始地图里，只是低分辨率压缩把它们抹掉了。
大模型也是一样。它把人类语言中的语法规律、常识知识、逻辑关系压缩进几百亿个参数里。这是一种有损压缩——它优先保留高频、高权重的模式，丢弃低频、边缘的细节。
所以当你问它“鲁迅说过的关于奋斗的名言是什么”时，它可能会编出一句鲁迅没说过的话。因为“某位名人说过一句关于奋斗的话”这个模式在训练数据里太常见了，而“鲁迅具体说过什么”这个细节被压缩掉了。
我踩过的一个坑：有一次问GPT-4“某篇论文引用了哪些其他论文”，它给我列了五篇，其中三篇是真实存在的，两篇是它自己编的。查了一下，那两篇编的论文标题和作者都是真实存在的，但组合起来根本不存在这篇论文。
这就是有损压缩的典型表现：高频模式（“引用论文”）被保留，低频细节（具体是哪篇）被模糊化，然后模型用概率最高的组合填充。
你说，这能叫“幻觉”吗？不如说，是模型在“合理猜测”。
未来会怎样？——我不敢说知道，但有几个观察
说实话，我也不敢说知道。但有几个观察，忍不住想跟你分享：
1. 涌现不是魔法。它的背后涉及数学原理（如隐式梯度下降）、信息论基础（如有损压缩）和复杂系统理论（如自组织），但我们还远未理解全貌。
2. 小模型也可能涌现。我看到一些研究，通过改进训练数据质量、优化模型架构，让几十亿参数的模型也能表现出某些涌现能力。所以参数规模不是唯一因素——别被“越大越好”骗了。
3. 神经交互网络可能是关键。有研究团队提出，应该关注神经元之间的交互作用，而不是只关注模型规模。他们把LLM转化为有向图，分析神经元之间的连接权重。这个方向挺有意思——你想想，也许未来我们能用更小的模型，干更大的事。
4. 警惕“玄学化”。有些人把理解不了的现象都归为“涌现”，这其实是在逃避问题。就像我常说的：如果我们不追求现象背后的解释，仅仅把目前解释不了的现象统一归类为涌现，那其实也可以把大模型的很多现象归类为“神迹”。
千万别把这事儿神秘化了。
几个你可能没想到的问题——我替你问了
Q：涌现能力对小模型有意义吗？
A：有。虽然小模型没有涌现能力，但我们可以通过改进训练数据、优化模型架构来“逼近”涌现。比如我见过一个3亿参数的模型，通过特殊的训练方法，在某个任务上表现出了类似涌现的特性。别小看小模型，它们潜力无限。
Q：涌现能力会影响AI安全吗？
A：会。如果模型在某个规模后突然表现出我们没预料到的能力，那安全性评估就会变得很困难。这就是为什么很多实验室在训练大模型时会做“安全涌现”测试。这事儿，关乎我们每个人的未来。
Q：有没有办法预测涌现的临界点？
A：目前没有可靠的方法。不同模型、不同任务的临界点都不一样。GPT-3在1750亿参数时表现出涌现，PaLM在620亿参数时就有了。这也是个开放问题——谁能破解它，将是一个重大突破。
最后一句，请你带走
大模型的涌现能力，既不是玄学，也不是骗局。它是一个真实存在的、需要我们认真研究的现象。但别把它神话了——它背后一定有我们可以理解的原因。只是目前我们还没完全搞明白而已。
就像我常跟学生说的：如果你觉得一个现象无法解释，别急着说它是“涌现”。先问问自己：是不是我的测量方法有问题？是不是我的理论框架不够？是不是我忽略了某些因素？
这个领域，还有很多值得探索的地方。
读者评论 3