NaturalReasoning: Reasoning in the Wild with 2.8M Challenging Questions

超越传统领域（如数学和编程）的推理能力扩展受到缺乏多样性和高质量问题的限制。为了解决这一限制，我们提出了一种可扩展的方法，用于生成多样且具有挑战性的推理问题，并附带参考答案。我们介绍了NaturalReasoning，这是一个全面的数据集，包含280万道问题，涵盖了多个领域，包括STEM领域（例如物理学、计算机科学）、经济学、社会科学等。我们通过知识蒸馏实验展示了NaturalReasoning中的问题的实用性，这些实验表明NaturalReasoning可以有效地从一个强大的教师模型中提取并转移推理能力。此外，我们还证明了NaturalReasoning在使用外部奖励模型或自我奖励进行无监督自我训练时也非常有效。

该论文试图解决人工智能在数学和编程以外领域中的推理能力扩展问题，主要是由于缺乏多样化和高质量的问题所造成的限制。这确实是一个新问题，尤其是在尝试将推理能力推广到更广泛的知识领域。

论文的关键思路是通过创建一个名为NaturalReasoning的大型综合数据集，包含280万个多领域问题及其参考答案，来克服这一挑战。与现有研究相比，这种方法不仅扩大了问题的多样性，还证明了可以通过知识蒸馏实验有效地从强大的教师模型中提取和转移推理能力。

论文的亮点包括：1) 数据集覆盖多个学科，如物理、计算机科学、经济学和社会科学；2) 通过知识蒸馏实验证明了其有效性；3) 展示了在无监督自我训练中的应用潜力；4) 使用外部奖励模型或自我奖励机制进行评估。此外，虽然摘要未提及，但值得期待的是，如果此数据集公开，它将成为社区的重要资源，促进更多相关研究。

最近在这个领域的相关研究包括《大规模多模态预训练模型在自然语言处理中的应用》和《利用对抗性训练提高机器阅读理解的鲁棒性》等。这些研究同样关注于提升AI系统的泛化能力和跨领域适应性，但主要集中在技术层面的改进上，而本文则侧重于通过丰富的问题生成来增强推理能力。