DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence

我们介绍了DeepSeek-Coder-V2，这是一个开源的专家混合（MoE）代码语言模型，其在代码特定任务中的表现可与GPT4-Turbo相媲美。具体而言，DeepSeek-Coder-V2是从DeepSeek-V2的一个中间检查点开始进一步预训练，额外使用了6万亿个标记。通过这种持续的预训练，DeepSeek-Coder-V2大大增强了DeepSeek-V2的编码和数学推理能力，同时在一般语言任务中保持了可比较的性能。与DeepSeek-Coder-33B相比，DeepSeek-Coder-V2在代码相关任务、推理和一般能力的各个方面都有显着的进展。此外，DeepSeek-Coder-V2将其对编程语言的支持从86种扩展到338种，并将上下文长度从16K扩展到128K。在标准基准评估中，DeepSeek-Coder-V2在编码和数学基准测试中表现优异，超过了GPT4-Turbo、Claude 3 Opus和Gemini 1.5 Pro等闭源模型。

DeepSeek-Coder-V2的问题是什么？

DeepSeek-Coder-V2的关键思路是什么？

DeepSeek-Coder-V2的亮点包括：通过继续预训练DeepSeek-V2，大大增强了DeepSeek-Coder-V2的编码和数学推理能力，同时保持了在一般语言任务中的可比性；DeepSeek-Coder-V2将支持的编程语言从86种扩展到338种，同时将上下文长度从16K扩展到128K；在标准基准评估中，DeepSeek-Coder-V2在编码和数学基准测试中均表现优异。

最近在这个领域中，还有一些相关的研究，如GPT4-Turbo、Claude 3 Opus和Gemini 1.5 Pro等。