即使RLVR（可验证奖励强化学习）使用错误的奖励信号，Qwen性能也能得到显著提升？

甚至还和真实奖励相差无几。

基于GRPO方法微调Qwen2.5-Math模型，再使用不同奖励函数进行RLVR训练。

实验结果表明，与未调优的基线模型相比，所有奖励函数（即使是设计上存在问题的函数），均能在所有基准测试的前50步内显著提升数学推理性能。

值得注意的是，虚假奖励带来的性能提升，与基于真实标签的RLVR提升幅度，相差只有几个百分点。

例如，在MATH500基准上，使用错误标签奖励进行训练可提升24.6%，而基于真实答案的RLVR提升幅度只有28.8%，即使是提供纯噪音的随机奖励，也仍能带来 21.4%的性能提升。

因此团队证明，即使是完全错误的奖励或随机奖励，也能在Qwen2.5-Math模型中激发性能提升。

但在进一步的研究中，他们发现这种奇怪的增益只有利于Qwen2.5系列模型，其余非 Qwen模型的性能在虚假奖励下几乎无变化，甚至还会出现下降的趋势。

这又是怎么一回事呢？研究团队只好又开始挖掘模型差异的根源。

通过分析Qwen2.5-Math-7B和OLMo2-7B的推理轨迹，团队发现预训练期间，模型学习到的特定推理策略差异是关键。

Qwen2.5-Math-7B频繁生成Python代码辅助思考过程（占所有回答的 65.0%），尽管无法执行，但这种代码推理行为在一定程度上，与答案准确率高度正相关。

本项目是由多位华人学者共同完成的，他们目前都在华盛顿大学的NLP小组读博。

而当论文作者Stella Li在X上发帖介绍自己的论文时，我们注意到评论区有这样一位网友的留言，他指出在模型改进中，也许「结果不重要，推理过程才重要」

Stella Li的回复也提出了另外一种可能，也许错误推理 正确答案或者正确推理 错误答案，可能也会帮助OLMo2-7B-SFT实现类似Qwen在虚假奖励下的性能增益。

另外，作者也温馨提示，现有的以Qwen为中心的RLVR研究可能需要在非Qwen模型上做进一步验证，不要只盯着单一模型做漂亮数值提升的工作，因为那可能意义并不大。

参考链接：

[1]https://x.com/StellaLisy/status/1927392717593526780

[2]https://x.com/huybery/status/1927434422934028358

[3]https://x.com/RulinShao/status/1927442751462707524

本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。