Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models

大型语言模型（LLMs）在复杂任务中展现了卓越的能力。近期，大型推理模型（LRMs）的进步，例如 OpenAI 的 o1 和 DeepSeek-R1，在系统2推理领域（如数学和编程）中进一步提升了性能。这些进步是通过监督微调（SFT）和强化学习（RL）技术增强链式思维（CoT）推理实现的。然而，尽管更长的 CoT 推理序列能够提升性能，但它们也因冗长和重复的输出引入了显著的计算开销，这种现象被称为“过度思考”。在本文中，我们首次提供了结构化的综述，系统地研究和探索了实现 LLMs 高效推理的当前进展。总体而言，基于 LLMs 的内在机制，我们将现有工作分为几个关键方向：（1）基于模型的高效推理，考虑将完整的推理模型优化为更简洁的推理模型，或直接训练高效的推理模型；（2）基于推理输出的高效推理，目标是在推理过程中动态减少推理步骤和长度；（3）基于输入提示的高效推理，旨在根据输入提示的特性（如难度或长度控制）提高推理效率。此外，我们还介绍了使用高效数据训练推理模型的方法，探讨了小型语言模型的推理能力，并讨论了评估方法和基准测试。

该论文试图解决大型语言模型（LLMs）在复杂推理任务中因冗长的链式思维（CoT）推理导致的计算效率低下问题，特别是‘过思考现象’。这是一个重要的新问题，因为随着模型规模增大和推理能力增强，如何提高推理效率成为研究热点。

论文提出了三种关键方向来实现高效推理：1）模型基础的高效推理，通过优化或直接训练更简洁的推理模型；2）基于推理输出的高效推理，动态减少推理步骤和长度；3）基于输入提示的高效推理，根据提示难度或长度调整推理方式。此外，论文还探讨了高效数据训练、小模型推理能力和评估方法。这些思路结合了模型结构优化、推理过程控制和输入设计，具有较强的创新性。

论文系统地调查了高效推理的研究进展，并提出多个值得深入探索的方向。实验部分可能涉及对不同推理方法的性能对比，使用了数学和编程等领域的标准基准数据集。虽然具体实验设计未提及，但论文强调了小模型推理潜力和新型评估方法的重要性。相关代码是否开源尚不清楚，但未来可以关注模型压缩、动态推理步骤调整以及跨领域推理能力的进一步研究。

最近的相关研究包括：1）DeepSpeed团队关于高效推理优化的工作，如《DeepSpeed-Inference: Accelerating Inference of Transformer Models》；2）谷歌关于稀疏激活模型的研究，如《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》；3）阿里巴巴通义实验室提出的Qwen系列模型，专注于大规模语言模型的高效推理与生成；4）斯坦福大学关于小样本学习与推理效率的研究，如《Chain of Thought Prompting Elicits Reasoning in Large Language Models》。