OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models

大型语言模型（LLM）在代码生成、推理任务和代理系统等多个领域已成为不可或缺的工具。虽然开放访问的代码LLM的性能逐渐接近专有模型，但适合严格科学研究的高质量代码LLM仍然有限，尤其是那些具有可重现的数据处理管道和透明训练协议的模型。这种稀缺性是由于多种挑战，包括资源限制、伦理考虑以及保持模型先进性的竞争优势。为了填补这一空白，我们推出了OpenCoder，这是一款顶级代码LLM，不仅实现了与领先模型相当的性能，还为研究社区提供了一个“开源菜谱”。与大多数先前的努力不同，我们不仅发布了模型权重和推理代码，还发布了可重现的训练数据、完整的数据处理管道、严格的实验消融结果和详细的训练协议，以支持开放科学的研究。通过这一全面发布，我们确定了构建顶级代码LLM的关键要素：（1）用于数据清理和去重的方法的代码优化启发式规则，（2）与代码相关的文本语料库的召回，（3）在退火和监督微调阶段使用的高质量合成数据。通过提供这种程度的开放性，我们旨在拓宽对顶级代码LLM各个方面的访问，使OpenCoder不仅成为一个强大的模型，也成为加速研究和推动代码AI可重现进展的开放基础。

该论文旨在解决高质量代码生成语言模型在科学研究中的可访问性和透明度问题。尽管开放访问的代码生成语言模型性能逐渐接近专有模型，但能够满足严格科学调查需求的高质量模型仍然稀缺。这是一个重要的问题，因为缺乏透明度和可重复性限制了学术界对这些模型的研究和改进。

论文的关键思路是通过引入OpenCoder，一个顶级的代码生成语言模型，不仅实现与领先模型相当的性能，还提供全面的开放资源，包括模型权重、推理代码、可复现的训练数据、完整的数据处理管道、严格的实验消融结果和详细的训练协议。这一方法的新颖之处在于，它不仅提供了模型本身，还提供了构建顶级代码生成模型的所有关键步骤和组件，从而为科研社区提供了一个‘开放的食谱’。

论文的其他亮点包括： 1. 提出了代码优化的启发式规则和数据去重方法，以提高数据质量。 2. 强调了召回与代码相关的文本语料库的重要性。 3. 在退火和监督微调阶段使用高质量的合成数据。 4. 实验设计严谨，提供了详细的实验消融结果。 5. 开源了所有相关资源，包括训练数据和代码，促进了可复现的研究。 6. 为未来的研究提供了明确的方向，特别是在数据处理和模型训练方面。

最近在这个领域中，还有一些相关的研究工作，例如： 1. "CodeBERT: A Pre-trained Model for Programming and Natural Languages" - 提出了一种预训练模型，用于自然语言和编程语言的联合表示学习。 2. "GraphCodeBERT: A Graph-based Pre-training for Code Understanding" - 利用图神经网络对代码结构进行建模，提高了代码理解能力。 3. "PolyCoder: Large-Scale Pretraining for Code Generation and Translation" - 通过大规模预训练，实现了代码生成和翻译任务的高性能。 4. "CodeGen: Large-Scale Multilingual Code Generation" - 专注于多语言代码生成，展示了跨语言代码生成的能力。 5. "InCoder: A Code-Only Pre-trained Language Model" - 专门针对代码生成任务的预训练模型，强调了代码数据的重要性。