Aria: An Open Multimodal Native Mixture-of-Experts Model

信息以多种形式呈现。多模态本地AI模型对于整合现实世界信息并提供全面理解至关重要。虽然存在专有的多模态本地模型，但它们的不开放性给采用和适应带来了障碍。为了填补这一空白，我们介绍了Aria，这是一个开放的多模态本地模型，它在各种多模态、语言和编码任务中表现出最佳性能。Aria是一个专家混合模型，每个视觉令牌和文本令牌分别具有3.9B和3.5B个激活参数。它在各种多模态任务中优于Pixtral-12B和Llama3.2-11B，并且在各种多模态任务中与最佳专有模型竞争。我们从头开始预训练Aria，遵循4个阶段的流程，逐步为模型提供语言理解、多模态理解、长上下文窗口和指令跟踪等强大能力。我们开源模型权重以及一个代码库，以便在现实世界应用中方便地采用和适应Aria。

Aria论文旨在解决多模态信息整合的问题，提出了一种新的开源多模态本地模型Aria。

Aria是一种混合专家模型，通过4个阶段的预训练逐步提高了其在语言理解、多模态理解、长上下文窗口和指令跟随方面的能力。相比现有的专有模型，Aria具有更好的性能并且开源，易于应用和适应。

Aria是一种开源的多模态本地模型，具有最好的性能表现。论文提供了一个4个阶段的预训练流程，使用了大量的数据集进行实验，并且开源了代码和模型权重。

在多模态信息整合领域，最近的相关研究包括：1. Pixtral-12B；2. Llama3.2-11B；3. M6。