Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment

最近大型语言模型的进展，尤其是继GPT-4之后，引发了越来越多的兴趣，致力于开发能够理解更多模态的全模态模型。虽然一些开源替代方案已经出现，但在性能上仍明显落后于专门的单模态模型。在本文中，我们介绍了Ola，这是一种全模态语言模型，在图像、视频和音频理解方面与专业模型相比具有竞争力的表现。Ola的核心设计在于其渐进式模态对齐策略，该策略逐步扩展语言模型的支持模态。我们的训练流程从最不同的模态开始：图像和文本，然后逐渐通过连接语言和音频知识的语音数据以及连接所有模态的视频数据来扩展模型的能力。这种渐进式学习流程还使我们能够保持相对较小的跨模态对齐数据量，从而使从现有的视觉-语言模型开发全模态模型变得容易且成本较低。此外，为了实现如GPT-4般的高级交互体验，我们进一步设计了一种逐句解码方案，用于流式语音生成。大量实验表明，Ola在所有模态上均超越了现有的开放全模态大语言模型，并且在与类似规模的最先进专业模型相比时表现出高度竞争力。我们的目标是使Ola成为一种完全开放的全模态理解解决方案，以推动这一新兴领域未来的研究。模型权重、代码和数据已在https://github.com/Ola-Omni/Ola 开源。

该论文试图解决多模态模型在图像、视频和音频理解方面性能落后于单一模态专门化模型的问题。这是一个亟待解决的问题，因为当前的开放源代码多模态模型在性能上存在明显不足。

Ola的关键思路在于其渐进式模态对齐策略，该策略逐步扩展语言模型的支持模态，从最不同的模态（如图像和文本）开始，然后通过语音数据连接语言和音频知识，再通过视频数据连接所有模态。这一方法不仅提高了多模态模型的性能，还降低了开发成本。

1. Ola在图像、视频和音频理解方面达到了与专门化模型相当的性能水平。 2. 提出了句子级解码方案，实现了流式语音生成，增强了交互体验。 3. 使用了渐进式学习管道，减少了跨模态对齐数据的需求。 4. 模型权重、代码和数据已开源，有助于推动未来的研究。 5. 实验设计详尽，涵盖了多种模态的数据集，并证明了Ola的优越性。

最近在这个领域中，还有其他相关的研究： 1. 'Multimodal Learning with Transformers: A Survey' - 综述了多模态学习的最新进展。 2. 'CLIP: Connecting Text and Images' - 探讨了文本与图像之间的联系。 3. 'VATT: Vision, Audio, and Text Transformer for Multimodal Understanding' - 研究了视觉、音频和文本的联合处理。 4. 'M6: A Large-Scale Pre-trained Model for Multi-modal Understanding and Generation' - 提出了一种大规模预训练的多模态理解与生成模型。