Think, Prune, Train, Improve: Scaling Reasoning without Scaling Models

大型语言模型（LLMs）在编程和数学推理任务中展现出强大的能力，但受限于高质量训练数据的不足。合成数据可以用来提升微调效果，但这一过程受到多个因素的影响，包括模型规模、合成数据量、剪枝策略以及微调轮次的数量。我们在这几个维度上进行探索，并研究哪些条件能够促使模型实现自我改进。我们提出了“思考、剪枝、训练”（Think, Prune, Train）流程，这是一种可扩展的框架，通过迭代地使用模型自身的推理轨迹进行微调，并借助基于真实标签的剪枝来保证训练数据的质量。这种方法显著提升了性能：在GSM8K数据集上，Gemma2-2B的Pass@1指标从41.9%提高到57.6%，Gemma2-9B达到82%，与LLaMA-3.1-70B持平，而LLaMA-3.1-70B更是达到了91%，甚至超过了GPT-4o。这表明，通过自动生成推理数据和系统化的数据选择，可以有效提升LLM的能力。

该论文试图解决大型语言模型在编程和数学推理任务中因高质量训练数据不足而导致性能受限的问题。这是一个重要且持续研究的问题，但通过合成数据和自生成推理来提升模型性能的系统化方法尚属较新的探索方向。

论文提出了一种名为Think, Prune, Train的框架，通过迭代地利用模型自身的推理痕迹进行细调，并结合基于事实的剪枝策略以确保训练数据的质量。这种方法的核心在于利用合成数据和模型自我生成的高质量数据来增强其推理能力，这与传统的依赖外部标注数据的方式有所不同，具有创新性。

实验设计严谨，分别在不同规模的模型上验证了该方法的有效性。具体来说，在GSM8K数据集上，经过该方法优化后的Gemma2-2B、Gemma2-9B以及LLaMA-3.1-70B均取得了显著性能提升，甚至超越了GPT-4o的表现。此外，论文开源了部分代码和数据处理流程，为后续研究提供了良好的基础。未来可以进一步探索如何将此方法扩展到其他领域（如自然语言理解或视觉推理）。

近期相关研究包括：1) 'Chain of Thought Prompting Elicits Reasoning in Large Language Models'，探讨了通过链式思维提示提升模型推理能力；2) 'Synthetic Data Generation for Few-Shot Learning in NLP'，研究了合成数据在小样本学习中的应用；3) 'Self-Training with Noisy Student Improves ImageNet Classification'，虽然聚焦于图像分类，但也展示了自训练方法在深度学习中的潜力。