CoT-Valve: Length-Compressible Chain-of-Thought Tuning

思维链显著增强了模型的推理能力，但也由于长链条带来了相当大的推理成本增加。通过观察发现，在简单任务中推理路径可以很容易地压缩，但在复杂任务中则会遇到困难，我们探索了仅使用一个模型弹性控制推理路径长度的可行性，从而根据任务难度动态减少推理模型的推理开销。我们引入了一种新的调优和推理策略，称为CoT-Valve（思维链阀门），旨在使模型能够生成不同长度的推理链。为此，我们提出在参数空间中识别一个方向，通过操控该方向可以有效控制生成的思维链的长度。此外，我们展示了这一特性对于压缩推理链非常有价值。我们构建了从长到短的同一问题的推理链条数据集，并探索了两种增强的CoT-Valve策略：（1）一种精确的可压缩长度的思维链调优方法；（2）一种逐步压缩链条长度的方法。实验表明，CoT-Valve成功实现了对链条的可控性和可压缩性，并且表现优于基于提示的控制方法。我们将这种方法应用于QwQ-32B-Preview，在GSM8K数据集上将推理链条从741个标记压缩到225个标记，性能仅略有下降（从95.07%降至94.92%），而在AIME数据集上则从6827个标记压缩到4629个标记，仅增加了一个错误答案。

该论文试图解决在使用Chain-of-Thought (CoT) 模型进行推理时，由于推理链过长而导致的高推理成本问题。此外，论文还探讨了如何根据任务难度动态调整推理链长度，以优化性能与效率之间的平衡。这是一个相对新颖的问题，特别是在如何弹性控制推理链长度方面。

关键思路是引入了一种名为CoT-Valve的新调优和推理策略，允许模型生成不同长度的推理链。通过识别参数空间中的特定方向来控制生成的CoT长度，从而实现对容易任务的压缩和对困难任务的扩展。相比现有研究，这种方法不仅提高了模型的灵活性，还在保持高性能的同时显著降低了推理成本。

论文的亮点包括：1) 成功实现了推理链长度的可控性和可压缩性；2) 在GSM8K和AIME数据集上的实验表明，该方法可以在大幅减少推理链长度的情况下，仅导致轻微的性能下降；3) 提出了两种增强策略：精确长度可压缩CoT调优方法和渐进式链长压缩方法；4) 使用QwQ-32B-Preview模型进行了实际验证，展示了其在实际应用中的潜力。目前尚无提及开源代码，但相关工作值得进一步研究，尤其是在更广泛的数据集上验证其有效性。

最近在这个领域中，还有其他一些相关研究，例如《Improving Neural Comprehension with Chain-of-Thought Reasoning》、《Dynamic Reasoning Networks for Robust Language Understanding》和《Controllable Text Generation via Gradient-based Manipulation of Latent Representations》等论文，这些研究都在探索如何提高语言模型的推理能力和可控性。