DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

开源大型语言模型（LLM）的快速发展真是令人瞩目。然而，先前文献中描述的缩放定律得出了不同的结论，这给缩放LLM带来了不确定性。我们深入研究了缩放定律，并提出了我们独特的发现，有助于在两种常用的开源配置（7B和67B）中扩展大规模模型。在缩放定律的指导下，我们推出了DeepSeek LLM项目，该项目致力于长期推进开源语言模型的发展。为了支持预训练阶段，我们开发了一个数据集，目前包含2万亿个标记，并不断扩展。我们进一步对DeepSeek LLM基础模型进行了有监督的微调（SFT）和直接偏好优化（DPO），从而创建了DeepSeek Chat模型。我们的评估结果表明，DeepSeek LLM 67B在各种基准测试中均超过了LLaMA-2 70B，特别是在代码、数学和推理领域。此外，开放式评估表明，DeepSeek LLM 67B Chat相对于GPT-3.5表现更优。

本论文旨在研究大规模语言模型的扩展定律，并提出一种新的方法DeepSeek LLM来促进大规模模型的扩展。同时，论文还尝试在不同领域进行评估比较，包括代码、数学和推理等。

论文提出了DeepSeek LLM这一新方法，通过建立一个数据集和进行监督微调和直接优化等方法来促进大规模语言模型的扩展。

论文使用了一个包含2万亿标记的数据集进行预训练，并对DeepSeek LLM Base模型进行了监督微调和直接优化。实验结果表明，DeepSeek LLM 67B在代码、数学和推理等领域表现出色，甚至超过了LLaMA-2 70B。此外，DeepSeek LLM 67B Chat在开放式评估中也表现出优异的性能。

在这个领域中，最近还有一些相关的研究，例如GPT-3.5等。