Agentic Reasoning: Reasoning LLMs with Tools for the Deep Research

我们引入了代理推理（Agentic Reasoning），这是一种通过集成外部工具使用代理来增强大型语言模型（LLM）推理能力的框架。与传统的基于LLM的推理方法不同，后者仅依赖内部推理，代理推理动态地结合了网络搜索、代码执行和结构化推理上下文记忆，以解决需要深入研究和多步逻辑演绎的复杂问题。我们的框架引入了思维导图代理（Mind Map agent），它构建了一个结构化的知识图谱来跟踪逻辑关系，从而改进演绎推理。此外，集成网络搜索和编程代理使实时检索和计算分析成为可能，提高了推理的准确性及决策能力。在博士水平的科学推理（GPQA）和特定领域的深度研究任务上的评估表明，我们的方法显著优于现有模型，包括领先的检索增强生成（RAG）系统和闭源LLM。此外，我们的结果还表明，代理推理能够提升专家级的知识综合能力、测试时的可扩展性以及结构化的问题解决能力。代码可以在以下地址获取：https://github.com/theworldofagents/Agentic-Reasoning。

该论文试图解决现有大型语言模型（LLM）在处理复杂问题时仅依赖内部推理的局限性。通过引入外部工具使用代理，论文旨在提高LLM在需要深入研究和多步逻辑推理的任务中的表现。这确实是一个新问题，特别是在结合外部工具以增强推理能力方面。

关键思路是通过集成外部工具使用的代理来增强LLM的推理能力，特别是通过引入Mind Map代理构建结构化的知识图谱，跟踪逻辑关系，从而改进演绎推理。此外，通过集成网络搜索和代码执行代理，实现了实时信息检索和计算分析，提升了推理的准确性和决策能力。这种做法相比当前领域的研究，更注重动态、交互式的推理过程，而非静态的内部推理。

论文的亮点包括：1) 构建了Mind Map代理，用于构造结构化知识图谱，增强了逻辑推理；2) 集成了网络搜索和代码执行功能，实现了实时数据检索和计算；3) 在PhD级别的科学推理任务中显著优于现有的模型，包括领先的检索增强生成（RAG）系统和封闭源LLM；4) 提供了开源代码，方便后续研究和应用。未来值得继续研究的方向包括进一步优化代理间的协作机制，以及探索更多类型的外部工具与LLM的结合。

最近在这个领域中，相关的研究还包括：1) Retrieval-Augmented Generation (RAG) 系统的研究，如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》；2) 外部知识库整合的工作，如《Knowledge-Enhanced Pre-training for Commonsense Reasoning》；3) 结构化记忆和知识图谱的应用，如《Graph-based Neural Networks for Logical Reasoning》。这些研究都试图通过不同方式增强LLM的知识获取和推理能力。