Qwen2.5 Technical Report

在本报告中，我们介绍了Qwen2.5，这是一系列旨在满足多样化需求的大型语言模型（LLM）。与之前的版本相比，Qwen2.5在预训练和后训练阶段都得到了显著改进。在预训练方面，我们将高质量预训练数据集从之前的7万亿个标记扩展到了18万亿个标记，为常识、专业知识和推理能力提供了坚实的基础。在后训练方面，我们实施了复杂的监督微调，使用超过100万个样本，并采用了多阶段强化学习。这些后训练技术增强了人类偏好，并显著改善了长文本生成、结构化数据分析和指令跟随的能力。 为了有效处理各种各样的应用场景，我们推出了多种规模的Qwen2.5 LLM系列。开放权重版本包括基础模型和指令调整模型，并提供量化版本。此外，对于托管解决方案，当前的专有模型包括两种专家混合（MoE）变体：Qwen2.5-Turbo和Qwen2.5-Plus，均可通过阿里云模型工作室获取。Qwen2.5在广泛的语言理解、推理、数学、编程、人类偏好对齐等基准测试中表现出色。特别是，开放权重旗舰版Qwen2.5-72B-Instruct超越了许多开放源码和专有模型，并展示了与最先进的开放权重模型Llama-3-405B-Instruct相当的性能，而后者大约是其五倍大。Qwen2.5-Turbo和Qwen2.5-Plus在成本效益方面表现出色，同时在性能上分别与GPT-4o-mini和GPT-4o竞争。 此外，作为基础，Qwen2.5模型在训练专门模型如Qwen2.5-Math、Qwen2.5-Coder、QwQ以及多模态模型方面发挥了重要作用。

论文试图解决的问题是开发更强大、更灵活的大型语言模型（LLMs），以满足多样化的应用需求。这包括提高模型在常识推理、专业知识处理和长文本生成等方面的能力，同时保持成本效益。这是一个持续研究的问题，但Qwen2.5通过显著扩展训练数据规模和引入先进的训练技术，提供了一个新的解决方案。

关键思路在于通过大幅增加预训练数据量（从7万亿个token扩展到18万亿个token）以及引入复杂的监督微调和多阶段强化学习来提升模型性能。此外，Qwen2.5系列提供了不同大小的模型版本，以适应不同的应用场景，并特别推出了两个混合专家（MoE）变体，以优化成本效益。相比现有研究，Qwen2.5不仅提升了模型性能，还在资源利用上取得了显著进步。

论文值得关注的地方包括：1) 使用了18万亿个高质量token进行预训练；2) 实施了超过100万样本的监督微调和多阶段强化学习；3) 提供了多种模型尺寸选择，包括量化版本；4) 在多个基准测试中表现出色，特别是Qwen2.5-72B-Instruct在与Llama-3-405B-Instruct对比时展现出竞争力；5) 开源代码和模型权重。未来可以进一步研究如何将这些模型应用于更多特定领域，如医疗、法律等。

最近在这个领域的相关研究包括：1) Llama系列模型，尤其是Llama-3-405B-Instruct，在大规模语言模型方面取得了显著进展；2) GPT-4系列，特别是GPT-4o-mini和GPT-4o，在成本效益方面进行了优化；3) 其他研究如PaLM和Chinchilla也在探索更大规模的数据集和更高效的训练方法。相关研究论文标题可参考《Llama: Open and Efficient Pre-trained Language Models》、《Training Compute-Optimal Large Language Models》等。