Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

链式思维（CoT）解码使语言模型能够在解码时以较高的生成延迟为代价提高推理性能。近期的研究探索了沉思令牌的各种变体，我们引入的一个术语，指的是在推理过程中使用的特殊令牌，允许进行额外的计算。先前的工作考虑了从离散嵌入集中抽取的固定长度序列作为沉思令牌。本文中，我们提出了一种称为压缩链式思维（CCoT）的框架，用于生成内容丰富且序列长度可变的连续沉思令牌。生成的沉思令牌是显式推理链的压缩表示，我们的方法可以应用于现成的解码器语言模型。通过实验，我们展示了CCoT如何通过在密集的内容表示上进行额外的推理来实现相应的准确性提升。此外，通过控制生成的沉思令牌数量，可以根据需要自适应地修改推理性能的改进。

该论文试图通过引入压缩链式思考（Compressed Chain-of-Thought, CCoT）框架来解决语言模型在进行复杂推理时生成延迟高和推理性能提升有限的问题。这是一个在提高语言模型推理能力的同时减少计算资源消耗的重要挑战。

论文的关键思路是开发一种生成连续且内容丰富的思考令牌（contemplation tokens）的方法，这些令牌可以是可变长度的序列，作为显式推理链的压缩表示。这种方法不仅允许模型在解码过程中进行额外的推理，而且还能灵活地调整推理的深度，通过控制生成的思考令牌数量实现。与之前固定长度和离散嵌入的思考令牌相比，CCoT 提供了更灵活和高效的方式。

论文通过实验展示了 CCoT 在不同任务上的有效性，包括逻辑推理和常识推理等。实验设计涵盖了多个数据集，如 ANLI 和 HellaSwag，以验证方法的泛化能力。此外，作者还提供了开源代码，方便其他研究者复现和进一步探索。未来的工作可以集中在如何优化 CCoT 的生成过程，以及在更大规模和更多样化的任务上应用 CCoT。

近期在这个领域内的相关研究还包括： 1. "Improving Language Model Reasoning with Contemplation Tokens" - 探索了固定长度的思考令牌在推理中的应用。 2. "Enhancing Chain-of-Thought Decoding with Explicit Reasoning Chains" - 研究了如何通过显式的推理链来增强语言模型的推理能力。 3. "Adaptive Reasoning in Language Models via Dynamic Contemplation Tokens" - 提出了动态调整思考令牌数量的方法，以适应不同的推理需求。