Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B

本文介绍了MCT Self-Refine (MCTSr)算法，这是一种创新的算法，将大型语言模型（LLMs）与蒙特卡罗树搜索（MCTS）相结合，旨在提高复杂数学推理任务的性能。针对LLMs在战略和数学推理中的准确性和可靠性挑战，MCTSr利用系统性探索和启发式自我完善机制来改善LLMs内的决策框架。该算法通过选择、自我完善、自我评估和反向传播的迭代过程构建蒙特卡罗搜索树，利用改进的上置信区间（UCB）公式来优化探索-开发平衡。广泛的实验表明，MCTSr在解决奥林匹克级别的数学问题方面非常有效，显著提高了多个数据集的成功率，包括GSM8K、GSM Hard、MATH和奥林匹克级别的基准测试，包括Math Odyssey、AIME和OlympiadBench。该研究推进了LLMs在复杂推理任务中的应用，并为未来的AI集成奠定了基础，提高了LLM驱动应用程序的决策准确性和可靠性。

MCT Self-Refine算法旨在提高大型语言模型在复杂数学推理任务中的准确性和可靠性。

该算法通过将蒙特卡罗树搜索与启发式自我改进机制相结合，构建一个搜索树，利用改进的UCB公式来优化探索-开发平衡，并通过迭代的选择、自我改进、自我评估和反向传播过程来提高大型语言模型的决策框架。

论文通过实验表明，MCT Self-Refine算法在解决奥林匹克级数学问题方面具有显著的优势，可以在多个数据集上提高成功率。论文为大型语言模型在复杂推理任务中的应用提供了基础，并为未来的人工智能集成提供了可能。

最近的相关研究包括：《Large-scale Language Model in Math》、《Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding》、《Neural Arithmetic Logic Units》等。