VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

在本文中，我们提出了VideoLLaMA3，这是一种更为先进的多模态基础模型，用于图像和视频理解。VideoLLaMA3的核心设计理念是以视觉为中心。“以视觉为中心”具有两层含义：以视觉为中心的训练范式和以视觉为中心的框架设计。我们以视觉为中心的训练范式的要点在于，高质量的图像-文本数据对于图像和视频理解至关重要。与其准备大规模的视频-文本数据集，我们更专注于构建大规模且高质量的图像-文本数据集。 VideoLLaMA3有四个训练阶段：1）以视觉为中心的对齐阶段，该阶段预热视觉编码器和投影器；2）视觉-语言预训练阶段，该阶段利用涵盖多种类型（包括场景图像、文档、图表）的大规模图像-文本数据以及纯文本数据，联合调整视觉编码器、投影器和大语言模型（LLM）；3）多任务微调阶段，该阶段结合图像-文本SFT数据用于下游任务，并引入视频-文本数据以建立视频理解的基础；4）以视频为中心的微调，进一步提升模型在视频理解方面的能力。 在框架设计方面，为了更好地捕捉图像中的细粒度细节，预训练的视觉编码器被调整为将不同大小的图像编码成相应数量的视觉标记，而不是固定数量的标记。对于视频输入，我们根据其相似性减少视觉标记的数量，从而使视频的表示更加精确和紧凑。得益于以视觉为中心的设计，VideoLLaMA3在图像和视频理解基准测试中均取得了令人信服的表现。

该论文旨在解决图像和视频理解的挑战，特别是如何通过高质量的图像-文本数据来提升模型在视觉任务上的表现。这并不是一个全新的问题，但作者提出了一种新的方法来更有效地利用现有的资源。

VideoLLaMA3的关键思路在于其'vision-centric'（视觉中心）的设计理念，包括训练范式和框架设计。与传统的依赖大规模视频-文本数据集不同，该模型强调使用高质量的图像-文本数据进行预训练，并通过多阶段的训练策略逐步增强对视频的理解能力。这一思路的新颖之处在于它避免了收集和标注大量视频数据的成本和难度，同时提高了模型对视觉信息的理解精度。

论文的亮点包括：1) 提出了四阶段训练流程，从视觉对齐到视频细调；2) 设计了一个能够处理不同尺寸图像并生成相应数量视觉标记的编码器；3) 对于视频输入，通过减少相似度高的标记来实现更紧凑和精确的表示。此外，实验部分涵盖了多种类型的图像和视频理解基准测试，展示了模型的广泛适用性。虽然论文未明确提及，但通常这种级别的研究会伴随开源代码以供社区进一步探索。

近期相关研究包括但不限于：《CLIP: Connecting Text and Images》、《 Florence: A Unified Vision-Language Foundation Model 》以及《 VideoBERT: A Jointly-trained Video and Language Representation Learning Model 》。这些研究均致力于构建强大的视觉-语言基础模型，但在数据集选择、训练方法等方面各有侧重。