Ola: Pushing the Frontiers of Omni-Modal Language Model with Progressive Modality Alignment

最近大型语言模型的进展，尤其是继GPT-4之后，激发了对开发能够理解更多模态的全模态模型日益增长的兴趣。虽然一些开源替代方案已经出现，但在性能上仍明显落后于专门的单模态模型。在本文中，我们介绍了Ola，一种全模态语言模型，在图像、视频和音频理解方面与专门模型相比具有竞争力的表现。Ola的核心设计在于其渐进式模态对齐策略，该策略逐步扩展语言模型的支持模态。我们的训练流程从最不同的模态开始：图像和文本，然后逐渐通过连接语言和音频知识的语音数据，以及连接所有模态的视频数据来扩展模型的能力。这种渐进式学习流程还使我们能够保持跨模态对齐数据的相对较小规模，从而使从现有的视觉-语言模型开发全模态模型变得更加容易且成本更低。此外，为了实现如GPT-4般的高级交互体验，我们进一步设计了一种逐句解码方案以实现流式语音生成。广泛的实验表明，Ola在所有模态上均超过了现有的开源全模态大语言模型，并且在性能上与类似规模的最先进专门模型具有高度竞争力。我们希望使Ola成为一种完全开放的全模态理解解决方案，以推动这一新兴领域的未来研究。模型权重、代码和数据已在https://github.com/Ola-Omni/Ola 开源。

该论文试图解决开发一个能够理解和处理多种模态（如图像、视频和音频）的全能模式语言模型的问题。这是一个新兴的研究领域，旨在超越现有的专注于单一模态的模型，以实现更全面和交互式的AI体验。尽管已经有了一些开源的全能模式模型，但它们在性能上仍落后于专门化的单模态模型。

Ola的核心思路在于其渐进式模态对齐策略，即通过逐步扩展支持的模态来训练模型。首先从最不同的模态（图像和文本）开始，然后逐渐引入语音数据（连接语言和音频知识）以及视频数据（连接所有模态）。这种方法不仅使模型能够在不同模态之间建立有效的联系，还减少了跨模态对齐所需的数据量，从而降低了开发成本。此外，Ola设计了一种句子级解码方案，用于流式语音生成，进一步提升了用户体验。

Ola在多个模态的理解任务中表现出色，超越了现有的开放源全能模式大语言模型，并且在性能上与相同规模的专业化单模态模型相媲美。实验设计包括广泛的基准测试，涵盖了图像、视频和音频理解任务。研究团队已经开源了模型权重、代码和数据集，这将有助于推动未来的研究。值得继续深入研究的方向包括优化渐进式学习策略、探索更多模态的融合，以及提升实时交互能力。

近年来，关于多模态学习的研究日益增多，相关工作包括：1) CLIP（Contrastive Language-Image Pre-training），它专注于图像和文本之间的对齐；2) VATT（Vision, Audio, Text Transformer），一种处理视觉、音频和文本的联合模型；3) OmniNet，提出了一种通用框架来处理多种模态的任务。这些研究为Ola的设计提供了宝贵的参考，同时也突显了Ola在跨模态对齐方面的创新之处。