DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

我们介绍了第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，在初步步骤中没有使用监督微调（SFT），它展示了出色的推理能力。通过强化学习，DeepSeek-R1-Zero自然地展现出许多强大且有趣的推理行为。然而，它也遇到了一些挑战，如可读性差和语言混用问题。为了解决这些问题并进一步提升推理性能，我们引入了DeepSeek-R1，该模型在强化学习之前结合了多阶段训练和冷启动数据。DeepSeek-R1在推理任务上的表现与OpenAI-o1-1217相当。为了支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1以及从DeepSeek-R1基于Qwen和Llama蒸馏出的六个密集模型（分别为15亿、70亿、80亿、140亿、320亿和700亿参数）。

论文试图解决如何通过大规模强化学习（RL）训练模型以实现强大的推理能力，同时克服诸如可读性和语言混合等挑战。这是在现有研究基础上进一步探索的问题，并非全新问题，但对提升模型的实用性和性能具有重要意义。

关键思路是引入了两个模型：DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 仅通过大规模强化学习训练，不使用监督微调，从而自然地涌现出强大的推理能力。而 DeepSeek-R1 则在此基础上增加了多阶段训练和冷启动数据，解决了 DeepSeek-R1-Zero 的一些缺陷，并显著提升了推理性能。这种结合强化学习与多阶段训练的方法是该研究的新颖之处。

论文的亮点包括：1) DeepSeek-R1-Zero 模型展示了强大的推理能力，尽管存在可读性和语言混合的问题；2) DeepSeek-R1 通过改进训练方法，实现了与 OpenAI-o1-1217 相当的推理性能；3) 研究团队开源了多个版本的模型，包括 DeepSeek-R1-Zero、DeepSeek-R1 以及六种不同参数量的密集模型，为社区提供了丰富的资源；4) 实验设计严谨，使用了多种数据集进行验证，确保了结果的可靠性。

最近在这个领域中，相关的研究还包括：1) 使用强化学习提升语言模型推理能力的研究，如《Reinforcement Learning for Language Models: A Survey》；2) 探索多阶段训练方法的研究，如《Multi-stage Training for Enhanced Language Understanding》；3) 针对语言模型中的可读性和语言混合问题的研究，如《Improving Readability and Language Consistency in Large Language Models》。