Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search

最近，测试时扩展引起了研究界的广泛关注，这主要归功于OpenAI发布的o1模型的重大进展。通过在推理阶段分配更多的计算资源，大型语言模型（LLMs）可以更广泛地探索解空间，生成更多的思考令牌或多样化的解决方案，从而产生更准确的回答。然而，开发类似o1的推理方法具有挑战性，研究人员一直在尝试各种方法来推进这一开放的研究领域。在本文中，我们初步探讨了通过奖励引导的树搜索算法增强LLMs推理能力的方法。该框架通过整合策略模型、奖励模型和搜索算法实现。其核心是一个树搜索算法，策略模型在特别训练的奖励模型的引导下导航一个动态扩展的树结构。我们详细探讨了实施该框架所需的各项设计考虑，并提供了技术方面的详细报告。为了评估我们方法的有效性，我们专注于数学推理任务，并在四个具有挑战性的数据集上进行了广泛的评估，显著提升了LLMs的推理能力。

该论文旨在通过奖励引导的树搜索算法增强大型语言模型（LLMs）的推理能力。这一问题源于对测试时扩展技术的关注，特别是OpenAI的o1模型在推理阶段通过增加计算资源来提高准确性的方法。这是一个相对较新的研究方向，尤其是在结合策略模型和奖励模型以优化推理过程方面。

论文的关键思路是构建一个集成政策模型、奖励模型和搜索算法的框架，主要围绕树搜索算法展开。政策模型在奖励模型的指导下动态扩展树结构，以探索更广泛的解决方案空间。这一方法与现有的研究相比，不仅提高了推理的准确性，还提供了一种系统的方法来优化大规模语言模型的推理过程。

论文详细探讨了实现该框架所需的各种设计考虑，并在数学推理任务上进行了广泛评估。实验设计包括四个具有挑战性的数据集，结果显示显著提升了LLMs的推理能力。此外，论文还讨论了未来的研究方向，如进一步优化奖励模型和搜索算法的结合方式。虽然没有提到开源代码，但详细的实验报告为后续研究提供了坚实的基础。

近年来，关于增强LLMs推理能力的研究不断涌现。例如，《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》探讨了通过链式思维提示来提升模型的推理能力。《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》则提出了另一种基于树结构的思考方法。此外，《Reward Modeling for Complex Tasks》研究了如何为复杂任务设计有效的奖励模型。这些研究都为本论文提供了重要的背景和参考。