Thinking Machines: A Survey of LLM based Reasoning Strategies

大型语言模型（LLMs）在基于语言的任务中表现出极高的熟练度。它们的语言能力使它们处于未来通用人工智能（AGI，Artificial General Intelligence）竞赛的前沿。然而，仔细审视后可以发现，Valmeekam等人（2024年）、Zecevic等人（2023年）以及Wu等人（2024年）指出，这些模型的语言能力和推理能力之间存在显著差距。为了弥合这一差距，语言模型和视觉语言模型（VLMs）中的推理研究致力于让这些模型能够思考并重新评估其行为和回应。推理是解决复杂问题的关键能力，也是建立对人工智能（AI）信任的必要步骤，这将使AI能够在医疗、银行、法律、国防、安全等敏感领域得到部署。近年来，随着像OpenAI O1和DeepSeek R1这样强大的推理模型的出现，为语言模型赋予推理能力已成为LLMs领域的重要研究课题。在本文中，我们对现有的推理技术进行了详细的概述和比较，并系统地回顾了具备推理能力的语言模型。此外，我们还分析了当前面临的挑战，并分享了我们的研究成果。

论文试图解决大型语言模型（LLMs）和视觉语言模型（VLMs）在推理能力上的显著不足，尽管它们在语言任务上表现出色。这并非全新问题，但随着AI向敏感领域扩展，推理能力的提升变得愈发关键。

论文的关键思路是通过系统性地概述和比较现有的推理技术，并对赋予推理能力的语言模型进行调查，为该领域提供全面的研究框架。相比当前研究状况，论文强调了推理能力对于复杂问题解决和建立AI信任的重要性，提出了从语言能力到推理能力的进阶路径。

论文设计了一个详细的推理技术对比分析，并探讨了当前挑战。实验可能涉及多种数据集，特别是用于评估推理能力的任务数据集，如逻辑推理、数学问题等。值得注意的是，论文提到了OpenAI O1和DeepSeek R1等强大的推理模型，这些模型值得进一步研究。此外，代码开源与否未明确提及，但相关工作提供了未来研究方向，例如开发更高效的推理算法或探索多模态推理模型。

最近的相关研究包括Valmeekam等（2024）、Zecevic等（2023）和Wu等（2024）的工作，他们分别探讨了推理能力的局限性和改进方法。其他相关研究包括《Enhancing Logical Reasoning in LLMs》、《Multimodal Reasoning for AI Safety》以及《Reasoning-Augmented Language Models》。这些研究共同推动了推理增强型语言模型的发展。