Llama-Nemotron: Efficient Reasoning Models

我们推出了Llama-Nemotron系列模型，这是一组开放的异构推理模型，具备卓越的推理能力、推理效率，并提供适用于企业使用的开源许可。该模型家族包含三种规模：Nano（8B参数）、Super（49B参数）和Ultra（253B参数），其性能与当前最先进的推理模型（如DeepSeek-R1）相当，同时在推理吞吐量和内存效率方面表现更优。在本报告中，我们详细讨论了这些模型的训练过程，其中包括利用Llama 3模型进行神经架构搜索以加速推理、知识蒸馏以及持续预训练，随后进入一个专注于推理的后训练阶段，该阶段主要分为两部分：监督微调和大规模强化学习。Llama-Nemotron模型是首批支持动态推理切换功能的开源模型，允许用户在推理过程中自由切换标准聊天模式与推理模式。为进一步推动开放研究并促进模型开发，我们提供了以下资源：1. 我们根据NVIDIA开放模型许可协议，发布了Llama-Nemotron推理模型——LN-Nano、LN-Super和LN-Ultra。2. 我们公开了完整的后训练数据集：Llama-Nemotron-Post-Training-Dataset。3. 我们还开源了我们的训练代码库：NeMo、NeMo-Aligner和Megatron-LM。

该论文试图解决构建高效、开放且具备卓越推理能力的语言模型的问题，同时满足企业使用需求。这是一个在开源大模型领域中的重要问题，尤其是在提供商业许可和高性能推理方面。

论文的关键思路是通过神经架构搜索（NAS）从Llama 3模型加速推理，并结合知识蒸馏、持续预训练以及以推理为中心的后训练阶段（包括监督微调和大规模强化学习）。此外，首次引入动态推理切换功能，使模型能够在标准聊天模式和推理模式之间切换。相比现有研究，这种多阶段优化方法以及动态推理功能是新颖之处。

1. 提供了三种不同规模的模型（LN-Nano、LN-Super、LN-Ultra），能够与DeepSeek-R1等顶级推理模型竞争。 2. 开源了完整的后训练数据集（Llama-Nemotron-Post-Training-Dataset）和训练代码库（NeMo、NeMo-Aligner、Megatron-LM）。 3. 使用了高效的推理优化技术，提升了吞吐量和内存效率。 4. 模型支持动态推理模式切换，为用户提供了灵活性。 5. 所有模型均采用NVIDIA Open Model License Agreement发布，促进商业化应用。

近期相关研究包括： 1. DeepSeek推出的DeepSeek-R系列模型，专注于高性能推理。 2. Meta发布的Llama 2及其后续版本，探索了更广泛的多模态任务。 3. Google的Gemini系列模型，强调多任务适应性和通用性。 4. Alibaba Cloud的通义千问Qwen系列，同样关注推理能力和企业级应用。 5. Microsoft的Phantom系列模型，着重于对话质量和可控性。