The Llama 3 Herd of Models

现代人工智能（AI）系统的动力源是基础模型。本文介绍了一组新的基础模型，称为Llama 3。它是一群语言模型，本地支持多语言、编码、推理和工具使用。我们最大的模型是一个密集的Transformer，有405B个参数和最多128K个标记的上下文窗口。本文对Llama 3进行了广泛的实证评估。我们发现，在众多任务中，Llama 3与领先的语言模型（如GPT-4）提供了可比较的质量。我们公开发布了Llama 3，包括405B参数语言模型的预训练和后训练版本，以及我们的Llama Guard 3模型，用于输入和输出的安全性。本文还介绍了实验结果，在其中我们通过组合方法将图像、视频和语音功能集成到Llama 3中。我们观察到这种方法在图像、视频和语音识别任务上表现出与最先进技术相竞争的水平。由此产生的模型尚未广泛发布，因为它们仍在开发中。

Llama 3是一组支持多语言、编码、推理和工具使用的基础模型，论文试图通过这些模型解决语言理解和视觉感知的问题。

Llama 3采用密集Transformer模型，具有405B个参数和最多128K个标记的上下文窗口，通过组合方法将图像、视频和语音能力整合到Llama 3中。

Llama 3在多项任务上的表现与GPT-4相当，作者公开了Llama 3和Llama Guard 3模型，包括预训练和后训练版本。作者还通过组合方法将图像、视频和语音能力整合到Llama 3中，并在相关任务上取得了竞争性表现。

在这个领域中，最近的相关研究包括GPT-4和其他基于Transformer的模型，以及一些在图像、视频和语音领域的研究，如ViT、CLIP等。