MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens

本文介绍了MiniGPT4-Video，这是一个专门用于视频理解的多模态大型语言模型（LLM）。该模型能够处理时间上的视觉和文本数据，使其能够熟练地理解视频的复杂性。在MiniGPT-v2的成功基础上，该模型在将视觉特征转化为LLM空间方面表现出色，对各种图像-文本基准测试取得了令人印象深刻的结果，本文将该模型的能力扩展到处理一系列帧，使其能够理解视频。MiniGPT4-Video不仅考虑视觉内容，还包括文本对话，使模型能够有效地回答涉及视觉和文本组成部分的查询。所提出的模型优于现有的最先进方法，在MSVD、MSRVTT、TGIF和TVQA基准测试中分别取得了4.22%、1.13%、20.82%和13.1%的增益。我们的模型和代码已在此处公开发布：https://vision-cair.github.io/MiniGPT4-video/

本论文旨在设计一种能够处理视频理解的多模态大型语言模型。该模型能够同时处理时间序列的视觉和文本数据，从而更好地理解视频的复杂性。

本文提出的MiniGPT4-Video模型在MiniGPT-v2的基础上，扩展了模型的能力，使其能够处理视频序列，并且不仅考虑视觉内容，还包含文本对话，从而能够有效地回答涉及视觉和文本组件的查询。相比现有的最先进方法，该模型在MSVD、MSRVTT、TGIF和TVQA基准测试上取得了显著的性能提升。

本文提出的MiniGPT4-Video模型在视频理解方面具有很高的性能。该模型不仅考虑视觉内容，还包含文本对话，使得它能够更好地理解视频的复杂性。本文使用了多个数据集进行实验，并且实验结果表明该模型在各个数据集上都取得了最先进的性能。此外，本文还提供了代码和模型供其他研究者使用。

在这个领域中，最近的相关研究包括：1）《VideoBERT: A Joint Model for Video and Language Representation Learning》；2）《HERO: Hierarchical Encoder for Video+Language Omni-representation Learning》；3）《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》。