RLHF 对齐之 REINFORCE++ 算法

那个在 GRPO 上摔得鼻青脸肿的晚上，我终于明白了什么算法才算“人话”

你训过 GRPO 吧？训过的人，听到这名字心里还在发毛。

上个月我一个朋友，平时挺冷静，对着屏幕突然摔键盘：“为什么训到一半 reward 突然崩了？一会儿掉，一会儿爆，完全控不住！” 他跑的还是个小规模的 SFT + RLHF 实验，脚本调了三遍，日志看了两夜，梯度裁剪拉了、学习率压了、reward 模型都换了两次——没用。那个值就像没拴绳子的狗，满街乱窜。

这话听着耳熟？你不是一个人。

去年我在 OpenRLHF 上把 PPO 推上线的时候，也差点暴走。那会儿大家都在跑基模型，我一看：PPO 稳定但慢得要命，训一次回去睡一觉醒来进度条才走了 30%；GRPO 确实快，但 reward 像过山车，你敢撒手它敢直接归零。这圈子跟手机发布会似的——PPO 还没捂热，DPO、RLOO、ReMax 就冒出来了，然后 GRPO 靠着 DeepSeekMath 和 R1 的爆火被捧上天，大家以为终于来了个能打的。结果呢？稳定和速度，像鱼和熊掌，挑哪个都膈应。

说到这儿，你可能会问：到底有没有一个算法，既能跑得快，又不容易崩？

有。它叫 REINFORCE++。

先别急着走。你可能一听这名字就觉得是课本里的老古董——REINFORCE 不是 90 年代的经典算法吗？加两个加号就变新东西了？反直觉的就在这里：你以为它是旧瓶装新酒，其实它是在底层做了重构，一直被低估。

GRPO 的问题在哪？它把 reward 归一化、反馈裁剪这些“安全网”做得太粗糙，一不留神就过激。PPO 安全网织得密，但每一步都在算梯度、算回报、再裁剪，速度全卡在流程上。REINFORCE++ 的思路很直接——拆掉 PPO 那套复杂的信任域机制，只保留 REINFORCE 最干净的梯度估计，再补一个轻量级的“奖励差值裁剪”和一个自适应方差缩减。什么意思？它用 1.5 倍 PPO 的速度，跑出了 GRPO 的流畅，还能压住 reward 发疯的尾巴。

具体一点，假设你在教一个孩子做数学题。PPO 是一对一家教，每做一步都要问“你觉得这样对吗？用刚才的思路再算算？不行，重来！”——稳是稳，但一堂课讲不了两道题。GRPO 是丢一套卷子让他自己刷，错也不管，最后对个答案——快是真快，但中间跑偏了没人拉，成绩蹦得比股价还厉害。REINFORCE++ 更像是“你先做，每做一步我悄悄给个正反馈，做错了我不吼，只轻轻抖一下绳子”——速度没掉多少，稳定却上了一个台阶。

去年我在 OpenRLHF 上跑完 PPO 之后，心里一直悬着：能不能既保留训练速度，又不崩 reward？后来试了 REINFORCE++，第一次跑完整个对齐流程，reward 曲线平滑得像温火煮茶，后期还稳步上升。我当时就拍桌子——原来我们一直在用最笨的办法填坑，而这个算法早就把坑填了，只是没人在意。

所以，如果你现在还在 GRPO 上翻来覆去调超参，或者被 PPO 的训练周期拖到怀疑人生，真的，试试 REINFORCE++。它不吹什么新范式、革命性突破，就是扎扎实实告诉你：有时候最快的路，不是油门踩到底，而是先把车修稳。

好的算法，就像好的朋友：不折腾，稳得住。

你下次跑对齐实验的时候，记得想这句话。