LLMs Do Not Think Step-by-step In Implicit Reasoning

众所周知，思维链（Chain-of-Thought）能够显著提升大语言模型（LLMs）在复杂任务上的表现。然而，由于它也会导致推理速度变慢和计算成本增加，许多研究尝试使用隐式思维链（implicit CoT），这种方法不需要大语言模型显式地生成中间步骤。但它们的效果与典型的显式思维链方法之间仍存在差距，这让我们怀疑：隐式思维链是否真的等同于显式思维链？因此，在本研究中，我们通过实验来探讨这一问题。我们在模型执行隐式思维链时，从其隐藏状态中探查中间步骤的信息。结果令人惊讶地表明，大语言模型很少考虑中间步骤，这暗示它们可能只是依赖经验而非严格的逐步推理。此外，我们发现大语言模型的隐式推理能力是脆弱且不稳定的，这进一步证实了显式思维链在有效支持复杂任务中的必要性。

该论文试图探讨隐式链式思维（implicit CoT）是否等同于显式链式思维（explicit CoT），并验证在复杂任务中隐式CoT的有效性。这是一个重要的问题，因为尽管隐式CoT可以降低计算成本和提高推理速度，但其效果与显式CoT之间的差距仍然存在。

论文的关键思路是通过分析模型在执行隐式CoT时的隐藏状态，来探究模型是否真正进行了中间步骤的思考。这种方法不同于传统的直接对比性能的方法，而是从内部机制的角度出发，提供了对隐式CoT更深层次的理解。

论文通过实验发现，LLMs在进行隐式CoT时，很少考虑中间步骤，这表明它们可能依赖于经验而非严格的逐步推理。此外，研究还揭示了LLMs的隐式推理能力是脆弱和不稳定的。这些发现强调了显式CoT在支持复杂任务中的重要性。实验设计包括对模型隐藏状态的探针分析，使用的数据集未具体说明，但方法具有较高的创新性和实用性。论文没有提到是否有开源代码，但其方法论为未来的研究提供了有价值的参考。

最近在这个领域，还有一些相关的研究，例如《Enhancing Language Model Reasoning with Explicit Chain-of-Thought》、《Implicit vs Explicit Chain-of-Thought for Complex Reasoning Tasks》和《Probing the Hidden States of Language Models for Implicit Reasoning》。这些研究都在探索如何改进语言模型的推理能力，尤其是在复杂任务上的表现。