Deconstructing Long Chain-of-Thought: A Structured Reasoning Optimization Framework for Long CoT Distillation

近期，大型语言模型（LLMs）通过长链式思维（CoT）推理展示了卓越的推理能力。R1蒸馏方案作为一种有前景的方法，能够以较低成本训练具备增强推理能力的模型。然而，其有效性的内在机制仍不明确。本研究探讨了蒸馏数据的普适性，并识别出在LLM蒸馏中实现长链推理能力高效转移的关键组成部分。我们的研究发现，从类似通义千问-QwQ等教师模型中进行长链CoT推理的蒸馏，在非同源模型上效果显著下降，这挑战了当前蒸馏方法所假设的普适性。为了更深入地理解长链CoT推理的结构与模式，我们提出了DLCoT（Deconstructing Long Chain-of-Thought），这是一种用于增强蒸馏数据的框架。DLCoT包含三个关键步骤：(1) 数据分割，用于分解复杂的长链CoT结构；(2) 简化，通过去除无法解决和冗余的解法；(3) 优化中间错误状态。我们的方法显著提升了模型性能和标记效率，从而推动高性能LLM的发展。

论文试图解决大型语言模型（LLM）中长链推理能力通过知识蒸馏进行有效迁移的问题，特别是探讨当前蒸馏方法的普适性以及其在非同源模型上的局限性。这是一个相对新颖的问题，聚焦于蒸馏数据结构对长链推理能力的影响。

论文提出了一种名为DLCoT（Deconstructing Long Chain-of-Thought）的知识蒸馏增强框架，包含三个关键步骤：数据分割、简化和优化。与现有方法不同，DLCoT专注于解构复杂的长链推理结构，并通过消除冗余和优化错误状态来提升模型性能和效率。

1. 提出了DLCoT框架，显著提高了模型在长链推理任务中的表现和token效率；2. 实验设计包括对比同源与非同源模型的知识蒸馏效果，验证了当前蒸馏方法在非同源模型上的局限性；3. 使用了Qwen-QwQ等先进模型作为教师模型进行实验，但未明确提及是否开源代码或具体数据集；4. 值得进一步研究的方向包括如何泛化DLCoT框架到更多任务类型以及探索更高效的蒸馏策略。

近期相关研究包括：1. 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了提示工程对长链推理的影响；2. 'Rethinking Knowledge Distillation for Fine-Tuning Large Language Models'，研究了大模型蒸馏中的关键技术；3. 'Improving Long-Form Question Answering with Hierarchical Distillation'，提出了分层蒸馏方法以优化长文本生成任务。