DeepSeek-V3 Technical Report

我们推出了DeepSeek-V3，这是一个强大的专家混合（MoE）语言模型，总参数量为6710亿，每个token激活的参数量为370亿。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中已经得到了充分验证。此外，DeepSeek-V3首创了一种无需辅助损失的负载均衡策略，并设定了多token预测的训练目标以提升性能。我们在14.8万亿个多样且高质量的token上预训练了DeepSeek-V3，随后通过监督微调和强化学习阶段充分发挥其潜力。全面评估表明，DeepSeek-V3的表现优于其他开源模型，并且达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需2,788,000 H800 GPU小时。此外，其训练过程非常稳定。在整个训练过程中，我们没有遇到任何不可恢复的损失激增或进行任何回滚操作。模型检查点可在https://github.com/deepseek-ai/DeepSeek-V3获取。

该论文旨在开发一个高效且性能强大的Mixture-of-Experts (MoE) 语言模型，以解决当前大规模语言模型在参数量、训练效率和成本效益方面的挑战。这是一个持续优化的问题，但DeepSeek-V3在参数激活策略和训练效率方面提出了新的解决方案。

DeepSeek-V3的关键思路在于通过Multi-head Latent Attention (MLA) 和DeepSeekMoE架构来实现高效的推理和成本效益高的训练。此外，它引入了无需辅助损失的负载均衡策略，并设定了多令牌预测训练目标以提升性能。相比现有研究，DeepSeek-V3不仅在参数规模上达到了671B，而且每次处理仅激活37B参数，显著降低了计算资源的需求。

亮点包括：1）使用14.8万亿高质量令牌进行预训练，随后进行监督微调和强化学习；2）整个训练过程非常稳定，没有出现不可恢复的损失激增或需要回滚的情况；3）尽管性能卓越，但DeepSeek-V3的训练仅需2.788M H800 GPU小时；4）模型检查点已开源，方便社区进一步研究。未来可继续深入研究如何进一步优化MoE模型的训练效率及应用范围。

最近的相关研究包括《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》, 《GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding》, 和《Big Bird: Transformers for Longer Sequences》等。这些研究都致力于通过不同的方法来扩展和优化大规模语言模型，而DeepSeek-V3则在此基础上进一步探索了更有效的训练策略和架构设计。