R-Zero: Self-Evolving Reasoning LLM from Zero Data

自演化的大语言模型（LLMs）通过自主生成、优化和从自身经验中学习，为实现超智能提供了一条可扩展的路径。然而，目前训练这类模型的方法仍然严重依赖大量由人类整理的任务和标签，通常通过微调或强化学习的方式进行，这在推动人工智能系统超越人类智能方面构成了根本性的瓶颈。为了克服这一限制，我们提出了R-Zero——一个完全自主的框架，能够从零开始自行生成训练数据。从一个基础的大语言模型出发，R-Zero初始化两个具有不同角色的独立模型：挑战者（Challenger）和解决者（Solver）。这两个模型分别被优化并通过交互共同演化：挑战者被奖励生成位于解决者能力边缘的任务，而解决者则因成功解决越来越具挑战性的任务而被奖励。这一过程生成了一个有目标、自我提升的学习课程，完全无需任何已有的任务和标签。实验表明，R-Zero在多个基础大语言模型上显著提升了推理能力，例如在数学推理基准测试中使Qwen3-4B-Base模型提升了+6.49分，在通用领域推理基准测试中提升了+7.54分。

论文试图解决当前大型语言模型（LLMs）在训练过程中过度依赖大量人工标注任务和标签的问题。这种依赖限制了AI系统在超越人类智能方面的发展。论文旨在探索一种完全自主的训练框架，以摆脱对人工标注数据的依赖，并推动模型在无监督环境下实现自我进化。

论文提出了一种名为R-Zero的框架，通过两个独立但相互作用的模型——Challenger和Solver——实现完全自主的训练。Challenger负责生成接近Solver能力边界的新任务，而Solver则尝试解决这些任务。这种机制能够自主构建一个逐步提升难度的训练课程，无需任何预设任务或标签，从而实现模型的自我进化。

1. R-Zero实现了无需人工标注数据的自主训练过程。 2. 实验表明，R-Zero在多个推理任务上显著提升了模型性能，例如在Qwen3-4B-Base模型上，数学推理基准提升了+6.49，通用领域推理基准提升了+7.54。 3. 实验设计完全基于模型间的互动和自我生成数据，验证了自我进化训练框架的可行性。 4. 论文未提及是否开源代码或具体数据集，但其方法论具有高度可复现性。 5. 未来工作可探索R-Zero在更广泛模型架构、多模态任务中的应用，以及如何进一步提升Challenger与Solver之间的互动效率。

1. Self-Play Learning for Language Models: Generating Training Data without Human Supervision 2. Evolving Transformers: Towards Continual Learning in Language Models 3. Curriculum Learning for Reinforcement Learning Systems 4. Bootstrapped Representations in Language Models: From Unsupervised to Self-supervised Training 5. AlphaGeometry: Solving Geometry Problems via Self-Play and Deductive Reasoning