Think-on-Graph 3.0: Efficient and Adaptive LLM Reasoning on Heterogeneous Graphs via Multi-Agent Dual-Evolving Context Retrieval

检索增强生成（Retrieval-Augmented Generation，RAG）以及基于图的RAG已成为利用外部知识增强大语言模型（LLMs）的重要范式。然而，现有方法面临一个根本性的权衡问题：尽管基于图的方法在本质上依赖于高质量的图结构，但在实际应用中却受到显著限制——人工构建的知识图谱难以大规模扩展且成本过高，而从语料库中自动抽取的图结构又受限于底层大语言模型抽取器的性能，尤其是在使用规模较小、本地部署的模型时更为明显。本文提出了Think-on-Graph 3.0（ToG-3），一种引入“多智能体上下文演化与检索”（Multi-Agent Context Evolution and Retrieval，MACER）机制的全新框架，以克服上述局限。我们的核心创新在于动态构建并持续优化一种包含文本块—三元组—社区的异构图索引，并首次提出“查询演化”与“子图演化”的双重演化机制，实现精准的证据检索。该方法解决了以往基于图的RAG方法的一个关键缺陷：即通常仅通过单次处理构建静态图索引，而无法根据具体查询内容进行适应性调整。ToG-3采用由构建者（Constructor）、检索者（Retriever）、反思者（Reflector）和回应者（Responser）组成的多智能体系统，协同开展证据检索、答案生成、充分性反思，并关键性地实现查询与子图的持续演化的迭代过程。这种双重演化的多智能体架构使ToG-3能够在推理过程中自适应地构建面向特定任务的图索引，有效缓解了传统静态、一次性图构建的固有缺陷，即使使用轻量级大语言模型也能实现深入且精确的推理。大量实验表明，ToG-3在深度与广度推理基准测试中均优于各类基线方法，消融研究也进一步验证了MACER框架各组件的有效性。

现有基于图的检索增强生成（Graph-based RAG）方法面临根本性权衡：人工构建知识图谱成本高昂、难以扩展，而自动从语料中提取的图结构受限于底层大语言模型（LLM）抽取性能，尤其在使用小型本地部署模型时效果不佳。此外，大多数方法采用静态图索引，无法根据具体查询进行动态调整，限制了推理的精确性和深度。这是一个尚未被充分解决的重要问题。

提出Think-on-Graph 3.0（ToG-3），通过引入多智能体上下文演化与检索机制（MACER），实现查询和子图的双演化动态图构建。其核心创新在于构建Chunk-Triplets-Community异构图索引，并在推理过程中由多智能体系统协同迭代地演化查询与子图，从而适应特定问题，提升证据检索精度与推理能力，尤其适用于轻量级LLM。相比传统静态图构建方式，该方法实现了动态、自适应的图索引演化，突破了“一次性建图”的局限。

论文设计了包含Constructor、Retriever、Reflector和Responser的多智能体协作框架，支持闭环迭代推理；实验覆盖深度与广度推理基准，验证了ToG-3在多种场景下的优越性；消融研究证实了MACER各组件的有效性；尽管未明确提及开源代码，但框架设计清晰，具备可复现潜力；未来可进一步探索更高效的图演化策略、多模态扩展以及在实际应用中的部署优化。

1. GraphRAG: Progressive Search with Large Language Models 2. REPLUG: Retrieval-Augmented Black-Box Language Models 3. Active-Retrieval Augmented Generation 4. Self-Ask: Bootstrapping Question-Answering in Large Language Models 5. Maieutic Prompting: Logically Consistent Reasoning with Recursive Extractive Reading Comprehension