VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs

本文介绍了VideoLLaMA 2，一组视频大语言模型（Video-LLMs），旨在增强视频和音频任务中的时空建模和音频理解能力。在前作的基础上，VideoLLaMA 2引入了一个定制的时空卷积（STC）连接器，有效地捕捉视频数据的复杂时空动态。此外，我们通过联合训练将音频分支集成到模型中，从而通过无缝融合音频提示丰富了模型的多模态理解能力。在多选视频问答（MC-VQA）、开放式视频问答（OE-VQA）和视频字幕生成（VC）任务的全面评估中，VideoLLaMA 2始终在开源模型中保持竞争力，并在一些基准测试中接近一些专有模型。此外，VideoLLaMA 2在现有模型的音频问题回答（AQA和OE-AVQA）基准测试中也表现出了合理的改进。这些进步突显了VideoLLaMA 2在多模态理解方面的出色表现，为智能视频分析系统设定了新的标准。所有模型都是公开的，以便进一步研究。

论文旨在提高视频和音频任务中的时空建模和音频理解能力，解决多模态理解中的挑战。作者通过VideoLLaMA 2模型，引入了空时卷积连接器和音频分支，以提高模型的性能。

VideoLLaMA 2模型通过引入空时卷积连接器和音频分支，提高了模型的时空建模和音频理解能力，从而解决多模态理解中的挑战。

论文通过在多个基准测试中进行全面评估，证明了VideoLLaMA 2模型在视频问题回答（MC-VQA、OE-VQA和VC）方面的竞争力。此外，论文还展示了模型在音频问题回答（AQA和OE-AVQA）方面的性能改进。该模型的代码已经公开，可供进一步研究使用。

与此论文相关的研究包括：《VideoBERT: A Joint Model for Video and Language Representation Learning》、《Multimodal Transformer for Unaligned Multimodal Language Sequences》等。