Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs

大型语言模型（LLMs），如OpenAI的o1，在复杂推理任务中通过扩展测试时计算和表现出类似人类的深度思考，展示了卓越的能力。然而，我们发现了一种现象，我们称之为“思考不足”，即类似o1的LLMs经常在不同的推理思路之间切换，而没有充分探索有希望的路径以得出正确答案。这种行为导致了推理深度不足和性能下降，特别是在具有挑战性的数学问题上尤为明显。为了系统地分析这一问题，我们在三个具有挑战性的测试集和两个代表性的开源类似o1的模型上进行了实验，揭示了频繁的思路切换与错误回答之间的关联。我们引入了一种新的度量标准，通过测量错误答案中的标记效率来量化“思考不足”。为了解决“思考不足”问题，我们提出了一种带有思路切换惩罚的解码策略TIP，该策略抑制过早的思路转换，鼓励对每条推理路径进行更深入的探索。实验结果表明，我们的方法在不需要微调模型的情况下提高了跨多个挑战性数据集的准确性。我们的研究有助于理解类似o1的LLMs中的推理低效问题，并提供了一种实用的解决方案来增强其解决问题的能力。

论文试图解决大型语言模型（LLM）在处理复杂推理任务，尤其是数学问题时表现出的‘underthinking’现象。这种现象表现为模型频繁切换不同的推理思路，而未能深入探索有潜力的解决方案路径，从而导致推理深度不足和性能下降。这并不是一个全新的问题，但之前的研究较少系统地分析并提出针对性的解决方案。

关键思路是引入一种新的度量方法来量化‘underthinking’，即通过测量错误答案中的token效率，并提出了一种带有思考切换惩罚的解码策略（TIP），以减少过早转换推理路径的现象，鼓励更深入地探索每个推理方向。相比现有研究，这种方法不需要对模型进行微调即可提高其准确性，具有较高的实用性和创新性。

实验设计严谨，选择了三个具有挑战性的测试集和两个开源的LLM模型作为研究对象，证明了频繁的思维切换与不正确的回答之间存在相关性。此外，作者还提出了一个新颖的指标来衡量‘underthinking’的程度，并通过实验证明了所提出的TIP策略能够有效提升模型在不同数据集上的表现。目前，该研究尚未提及是否开源代码，但其结果为未来进一步优化LLM提供了有价值的参考方向。

最近在这个领域中，其他相关的研究包括：1.《Scaling Laws for Neural Language Models》探讨了模型规模与性能之间的关系；2.《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》研究了如何通过提示工程引导LLM进行更深层次的推理；3.《Reasoning in Large Language Models: A Survey》综述了当前LLM在推理方面的能力和发展趋势。这些研究共同推动了我们对LLM工作原理的理解及其应用潜力的认识。