General Reasoning Requires Learning to Reason from the Get-go

大型语言模型（LLMs）已经展示了令人印象深刻的实际应用价值，体现了有用的人工智能（AUI）。然而，它们在适应性和稳健性推理方面的能力——即通用人工智能（AGI）的标志——仍然脆弱。尽管LLMs在常识推理、编程和数学方面看似取得了成功，但在新情境中推广算法理解时却显得力不从心。我们对使用晦涩编程语言进行算法任务的实验表明，LLMs的推理过度拟合于训练数据，并且其迁移能力有限。我们假设，导致这种迁移能力有限的核心问题是推理与知识在LLMs中的耦合。 为了从AUI过渡到AGI，我们提出了通过三个关键方向来解耦知识和推理：(1) 使用从头开始的强化学习（RL）进行预训练以替代广泛使用的下一位预测预训练；(2) 使用合成任务的教学大纲来简化学习一种可以迁移到自然语言任务的“推理先验”；(3) 使用小上下文窗口学习更具泛化的推理函数，以减少利用标记之间的虚假相关性。这样的推理系统结合经过训练的检索系统和作为知识存储的大规模外部记忆库，可以克服现有架构在学习应对新情境时的多个局限性。

论文试图解决大型语言模型（LLM）在从特定任务的有用智能（AUI）向通用人工智能（AGI）过渡时遇到的挑战，特别是它们在面对新颖情境时泛化算法理解的能力有限。这是一个当前AI研究领域的重要问题，尽管LLM在许多方面表现出色，但在适应性和鲁棒性方面仍有明显不足。

关键思路是通过解耦知识和推理来提高LLM的泛化能力。具体来说，作者提出了三个方向：1) 使用强化学习（RL）从头开始预训练推理能力，而不是传统的基于下一个标记预测的预训练方法；2) 利用合成任务的课程学习来培养一个可以转移到自然语言任务的‘推理先验’；3) 在小上下文窗口中学习更可泛化的推理函数以减少对令牌之间虚假相关性的依赖。这种方法旨在创建一个能够与外部知识库结合使用的推理系统，从而更好地应对新情境。

该研究通过实验展示了LLM在处理不常见编程语言中的算法任务时存在的局限性，并提出了一种新的框架来改进其泛化能力。实验设计包括一系列针对不同编程语言的任务，验证了模型在未知环境下的表现。虽然文中未明确提及代码开源情况，但提出的解决方案为未来的研究提供了明确的方向，特别是在开发更强大的推理机制和探索如何有效地将推理与知识分离方面。

最近在这个领域的相关研究还包括《Improving Generalization in LLMs through Curriculum Learning》、《Towards AGI: Integrating Reasoning and Knowledge in Large Language Models》以及《Enhancing Transfer Learning in LLMs via Reinforcement Learning Techniques》等论文，这些研究都致力于提升LLM的泛化能力和向AGI迈进的步伐。