Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B

本文介绍了MCT自我完善算法（MCTSr），这是一种创新的方法，将大型语言模型（LLMs）与蒙特卡罗树搜索（MCTS）相结合，旨在增强复杂数学推理任务的性能。针对LLMs在策略和数学推理中的准确性和可靠性方面的挑战，MCTSr利用系统性探索和启发式自我完善机制来改进LLMs内部的决策框架。该算法通过选择、自我完善、自我评估和反向传播的迭代过程构建蒙特卡罗搜索树，利用改进的上置信区间（UCB）公式来优化探索-开发平衡。广泛的实验表明，MCTSr在解决奥林匹克级别的数学问题方面非常有效，显著提高了多个数据集的成功率，包括GSM8K、GSM Hard、MATH和奥林匹克级别的基准测试，包括Math Odyssey、AIME和OlympiadBench。本研究推进了LLMs在复杂推理任务中的应用，并为未来的AI集成奠定了基础，提高了LLM驱动应用程序中的决策准确性和可靠性。

论文旨在解决在复杂数学推理任务中，大型语言模型（LLMs）的准确性和可靠性问题。

论文提出了MCT Self-Refine（MCTSr）算法，将Monte Carlo Tree Search（MCTS）与LLMs相结合，通过系统性探索和启发式自我优化机制来提高LLMs的决策框架。

该算法通过选择、自我优化、自我评估和反向传播等迭代过程构建蒙特卡罗搜索树，利用改进的上置信区间（UCB）公式优化探索-利用平衡。实验结果表明，MCTSr在解决奥林匹克级数学问题方面表现出色，在多个数据集上显著提高了成功率。

近期相关研究包括GPT-3等大型语言模型的应用，以及基于MCTS的其他算法，如AlphaGo和AlphaZero。