Nemotron-4 15B Technical Report

我们介绍了Nemotron-4 15B，这是一个拥有150亿参数的大型多语言语言模型，训练数据量达到了8万亿个文本标记。Nemotron-4 15B在英语、多语言和编码任务方面表现出色：在7个下游评估领域中，它在4个领域中优于所有现有的类似大小的开放模型，并在其余领域中实现了与领先的开放模型相当的性能。具体来说，Nemotron-4 15B展现出了所有类似大小模型中最好的多语言能力，甚至优于四倍以上的模型和专门针对多语言任务的模型。

本论文试图通过引入一个新的15亿参数的多语言语言模型Nemotron-4 15B，解决自然语言处理中的多语言和编码任务的问题，并且验证其性能是否优于同等大小的现有模型。

本论文的关键思路是通过引入一个新的15亿参数的多语言语言模型Nemotron-4 15B，结合大规模的训练数据和先进的技术，提高模型在多语言和编码任务中的性能。

本论文的实验设计充分，使用了大规模的训练数据和多个数据集进行评估，证明了Nemotron-4 15B在多语言任务中的表现优于同等大小的现有模型，甚至超过了四倍大小的模型。此外，本论文还提供了开源代码和预训练模型，为后续研究提供了便利。

近期的相关研究包括：GShard、Turing NLG、GPT-3等。