Chain of Draft: Thinking Faster by Writing Less

大型语言模型（LLMs）在通过诸如思维链（CoT）提示等机制解决复杂推理任务时表现出色，这些机制强调详细的、逐步的推理过程。然而，人类通常采用更高效的策略：草拟简洁的中间思路，只捕捉关键信息。在这项工作中，我们提出了草稿链（CoD），这是一种受人类认知过程启发的新范式，使大型语言模型在解决问题时生成简约但富有信息量的中间推理输出。通过减少冗长表述并专注于关键见解，CoD在准确性上与CoT相匹配或超越，同时仅使用7.6%的标记数量，从而在各种推理任务中显著降低成本和延迟。我们的代码和数据可在https://github.com/sileix/chain-of-draft 获取。

该论文试图解决大型语言模型（LLM）在解决复杂推理任务时过于冗长的问题，通过引入一种新的推理机制来提高效率并降低成本和延迟。这并不是一个全新的问题，但该研究提出了一个新的解决方案。

关键思路是提出了一种名为Chain of Draft (CoD)的新范式，灵感来源于人类认知过程。与现有的Chain-of-Thought (CoT) 方法相比，CoD 强调生成简约而信息量大的中间推理输出，从而减少冗余并专注于关键洞察。这种方法不仅减少了所需的token数量，还保持或提高了准确性。

实验设计涵盖了多种推理任务，结果显示CoD仅使用了7.6%的token就能达到与CoT相当或更好的效果。此外，作者提供了开源代码和数据集（https://github.com/sileix/chain-of-draft），为后续研究提供了便利。未来值得深入的研究方向包括进一步优化CoD模型以及探索其在更多类型任务中的应用。

近期相关研究包括：1. 'ReAct: Synergizing Reasoning and Acting in Language Models'，探讨了将行动与推理结合的方法；2. 'Self-Consistency Improves Chain of Thought Reasoning'，研究了自一致性对链式思考的影响；3. 'Toolformer: Language Models Can Teach Themselves to Use Tools'，讨论了语言模型自我学习使用工具的能力。