Competitive Programming with Large Reasoning Models

我们展示了将强化学习应用于大型语言模型（LLMs）可以显著提升在复杂编程和推理任务上的表现。此外，我们比较了两种通用推理模型——OpenAI的o1和o3的一个早期检查点——与一个特定领域的系统o1-ioi，后者使用专门为参加2024年国际信息学奥林匹克竞赛（IOI）设计的手工工程推理策略。我们在2024年IOI现场比赛中使用o1-ioi，并通过手工定制的测试时策略获得了第49百分位的成绩。在放宽比赛限制的情况下，o1-ioi取得了金牌。然而，在评估较新的模型如o3时，我们发现o3无需手工定制的领域特定策略或放宽限制即可获得金牌。我们的研究结果表明，尽管像o1-ioi这样的专门管道带来了显著改进，但规模更大、更通用的o3模型无需依赖手工定制的推理启发式方法就能超越这些结果。值得注意的是，o3在2024年IOI中获得了金牌，并且在Codeforces上取得了与顶级人类选手相当的评级。总体而言，这些结果表明，扩大通用强化学习的规模，而不是依赖领域特定技术，为在推理领域（如竞技编程）中实现最先进的AI提供了一条稳健的路径。

论文试图解决的问题是如何提升大型语言模型（LLMs）在复杂编程和推理任务中的表现，特别是针对国际信息学奥林匹克竞赛（IOI）这样的高难度领域。这并不是一个全新的问题，但该研究专注于通过强化学习来显著提高模型的性能。

关键思路是利用强化学习对大型语言模型进行训练，以增强其在复杂编码和推理任务上的能力。相比当前领域的研究状况，这篇论文的新意在于展示了即使没有专门设计的推理策略或放松比赛限制，规模更大、更通用的模型（如o3）也能超越专门为特定领域优化的系统（如o1-ioi）。

其他值得关注的地方包括：实验设计涉及将模型应用于实际的2024年IOI比赛中，并比较了不同版本模型的表现；使用了手写测试策略来评估早期模型，而后期模型则不需要这种辅助即可达到金牌水平；研究还指出，o3模型不仅在IOI中获得金牌，还在Codeforces上获得了与顶级人类选手相当的评分。此外，论文强调了扩大规模和采用通用方法的重要性，而不是依赖于领域特定技术。

最近在这个领域中，相关的研究还包括《基于深度学习的自动程序合成》、《通过自我博弈改进神经网络的推理能力》以及《大规模预训练模型在代码生成中的应用》等。这些研究都探索了如何通过不同的方法和技术来提升AI在编程和推理任务中的表现。