Qwen2.5-Coder Technical Report

在这份报告中，我们介绍了Qwen2.5-Coder系列，它是CodeQwen1.5的重大升级。该系列包括两个模型：Qwen2.5-Coder-1.5B和Qwen2.5-Coder-7B。作为一种针对代码的模型，Qwen2.5-Coder建立在Qwen2.5架构之上，并继续在超过5.5万亿个标记的庞大语料库上进行预训练。通过精心的数据清理、可扩展的合成数据生成和平衡的数据混合，Qwen2.5-Coder展示了令人印象深刻的代码生成能力，同时保留了通用的多功能性。该模型已在广泛的与代码相关的任务上进行了评估，在包括代码生成、完成、推理和修复在内的10多个基准测试中取得了最先进的性能，始终优于相同模型大小的更大模型。我们相信，Qwen2.5-Coder系列的发布不仅将推动代码智能研究的边界，而且通过其宽松的许可证，鼓励开发人员在实际应用中更广泛地采用。

Qwen2.5-Coder series试图解决代码智能领域中的各种问题，包括代码生成、补全、推理和修复等，并验证其在这些任务中的表现是否优于同等模型。

Qwen2.5-Coder是一个基于Qwen2.5架构的代码特定模型，通过数据清理、合成数据生成和平衡数据混合等技术，不仅展现了优秀的代码生成能力，而且保留了通用性，相比同等模型大小的较大模型，表现更优。

Qwen2.5-Coder在超过10个基准测试中展现出最先进的性能，包括代码生成、补全、推理和修复等任务，并且具有开源代码和许可证，鼓励更广泛的应用。

在这个领域中，最近的相关研究包括CodeBERT、GPT等模型。