Reasoning LLMs are Wandering Solution Explorers

大型语言模型（LLMs）通过测试时计算（TTC）技术展示了令人印象深刻的推理能力，例如链式思维提示和基于树的推理。然而，我们认为当前的推理型语言模型（RLLMs）缺乏系统性探索解空间的能力。本文正式定义了什么是系统性的解决问题，并识别出揭示推理语言模型更像是漫无目的的“流浪者”而非系统性探索者的常见失败模式。通过对多个最先进的语言模型进行定性和定量分析，我们发现了持续存在的问题：无效的推理步骤、冗余的探索、虚构或不准确的结论等。我们的研究结果表明，当前模型在简单任务上的表现可能看似胜任，但随着任务复杂性的增加，其性能会急剧下降。基于这些发现，我们提倡开发新的指标和工具，不仅评估最终输出，还要评估推理过程本身的结构。

论文试图解决当前大型语言模型（LLMs）在复杂推理任务中缺乏系统性探索能力的问题。这是一个新问题，重点关注模型如何在复杂任务中有效且系统地探索解空间，而不仅仅是生成看似合理的答案。

论文的关键思路是通过形式化系统性问题求解的定义，并识别出当前推理LLMs（RLLMs）在复杂任务中的常见失败模式。作者提出需要新的评估指标和工具来衡量模型不仅在最终输出上的表现，还包括其推理过程的结构化质量。相比现有研究，这篇论文更深入地探讨了模型在复杂任务中的局限性，并提出了从过程而非结果的角度重新审视模型性能的新视角。

论文通过定性和定量分析揭示了LLMs在推理过程中存在的问题，如无效推理步骤、冗余探索和幻觉结论等。实验设计覆盖了多个最先进的LLMs，并展示了模型在简单任务和复杂任务之间的性能差异。此外，论文建议开发新的评估工具以更好地衡量推理过程的质量，这为未来的研究指明了方向。目前尚未提及代码开源情况，但提出的评估框架值得进一步研究和实现。

近期相关研究包括：1) 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了链式思维提示对推理能力的影响；2) 'Tree of Thoughts: Deliberation with Discrete Latent Variables'，介绍了基于树结构的推理方法；3) 'Evaluating Large Language Models Trained on Code'，评估了代码训练对模型推理能力的提升。这些研究都集中在提高LLMs的推理能力，但较少关注系统性探索能力的不足。