RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement

现有的大型语言模型（LLMs）展示了卓越的问题解决能力，但在处理复杂的推理任务时可能会遇到困难。尽管链式思维和基于树的搜索方法取得了成功，但它们主要依赖于LLMs的内部知识来搜索中间推理步骤，这限制了它们处理涉及较少推理步骤的简单任务的能力。在本文中，我们提出了**RAG-Star**，这是一种新颖的RAG方法，通过整合检索到的信息来指导依赖于LLMs内在知识的基于树的深思熟虑的推理过程。通过利用蒙特卡洛树搜索，RAG-Star根据LLM本身迭代地规划推理所需的中间子查询和答案。为了整合内部和外部知识，我们提出了一种检索增强验证方法，该方法利用查询和答案感知的奖励建模为LLMs的内在推理提供反馈。我们的实验表明，使用Llama-3.1-8B-Instruct和GPT-4o时，RAG-Star显著优于以前的RAG和推理方法。

论文试图解决现有大型语言模型（LLMs）在处理复杂推理任务时的局限性，尤其是当这些任务涉及多个推理步骤时。这是一个已知的问题，但该论文提出了一种新的方法来克服这一挑战。

论文的关键思路是提出一种名为RAG-Star的新方法，该方法结合了检索增强生成（RAG）和基于树的搜索技术，利用外部信息指导内部知识的推理过程。通过蒙特卡洛树搜索（MCTS），RAG-Star能够迭代地规划中间子查询和答案，从而增强推理能力。此外，还引入了检索增强验证机制，通过查询和答案感知的奖励建模提供反馈，进一步巩固内部和外部知识的整合。

论文的实验设计包括使用Llama-3.1-8B-Instruct和GPT-4o等模型进行测试，结果显示RAG-Star在多项任务上显著优于现有的RAG和推理方法。实验使用的数据集未具体提及，但代码已经开源，为后续研究提供了便利。未来的研究可以进一步探索不同类型的外部知识源对RAG-Star性能的影响，以及在更多复杂任务上的应用。

近期在这个领域中的相关研究包括： 1.《Chain of Thought Prompting Elicits Reasoning in Large Language Models》：探讨了通过链式思维提示来激发LLMs的推理能力。 2.《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》：提出了检索增强生成方法，用于知识密集型NLP任务。 3.《Tree-Structured Planning Using Generative Models》：研究了如何利用生成模型进行树结构规划。