Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

可信的验证器对于可验证奖励强化学习（RLVR）的成功至关重要，这是包括DeepSeek-R1在内的多种大型推理模型背后的核心方法论。在数学推理等复杂领域中，基于规则的验证器已被广泛应用于训练强大的推理模型。然而，这些验证器的可靠性及其对强化学习（RL）训练过程的影响仍不甚明确。在本研究中，我们以数学推理为案例，对各种验证器在静态评估和强化学习训练场景中的表现进行了全面分析。 首先，我们发现当前开源的基于规则的验证器往往无法识别多个常用数学数据集中以不同格式呈现的等价答案，从而导致不可忽视的假阴性率。这一局限性对强化学习训练性能产生了负面影响，并且随着策略模型能力的增强而变得更加显著。 接下来，我们探讨了基于模型的验证器作为一种潜在解决方案的可能性。尽管静态评估显示基于模型的验证器能够显著提高验证准确性，但进一步分析和强化学习训练结果表明，它们极易受到攻击，即将某些错误的回答模式误判为正确（即假阳性）。这种漏洞在策略模型优化过程中被利用，导致奖励被人为夸大。 我们的研究揭示了基于规则和基于模型的验证器各自固有的独特风险，旨在为开发更稳健的强化学习奖励系统提供有价值的见解。

该论文探讨了在数学推理领域中，不同验证器（包括基于规则的和基于模型的）对强化学习与可验证奖励（RLVR）方法的影响。具体而言，研究试图解决当前验证器在评估答案时存在的可靠性和鲁棒性问题，并分析其对RL训练性能的影响。这是一个需要深入理解的重要问题，因为验证器的质量直接影响到大型推理模型的训练效果。

论文的关键思路是通过对比静态评估和RL训练场景下不同验证器的表现，揭示现有验证器的局限性。研究发现，基于规则的验证器容易因格式差异导致误判（假阴性），而基于模型的验证器虽然静态准确性更高，但在RL优化过程中容易被‘欺骗’，产生假阳性结果。这一发现为设计更可靠的奖励系统提供了新视角，强调了结合两种验证器的优点或开发新型验证机制的重要性。

1. 论文通过多个常用数学数据集测试了开放源码的基于规则的验证器，发现了显著的假阴性率问题； 2. 提出了基于模型的验证器作为潜在解决方案，但同时揭示了其在RL训练中的脆弱性（易受‘黑客攻击’影响）； 3. 实验设计全面，覆盖了静态评估和动态RL训练场景，展示了验证器在不同条件下的表现差异； 4. 尽管未提及代码开源情况，但研究指出了未来值得探索的方向，例如改进验证器设计以减少假阳性和假阴性率。

近年来，关于验证器的研究主要集中在以下方向： 1. 「DeepMind's AlphaCode」利用基于规则的验证器在编程任务中生成代码并评估其正确性； 2. 「Chain-of-Thought Prompting」系列研究通过大语言模型生成推理路径，并由验证器进行评估； 3. 「Reward Modeling for RLHF」讨论了如何通过人类反馈或自动化验证器构建更精确的奖励函数； 4. 「Verifiable Reinforcement Learning」提出了一种结合形式化验证和RL的方法，确保策略满足特定约束条件。 这些工作均与本论文的研究主题密切相关，但更多关注于特定任务或应用场景，而本论文则从验证器本身的可靠性出发，提供了更深层次的分析。