mPLUG-Owl2: Revolutionizing Multi-modal Large Language Model with Modality Collaboration

多模态大语言模型（MLLMs）在各种开放式任务中展示了令人印象深刻的指导能力。然而，以前的方法主要集中在增强多模态能力上。在这项工作中，我们介绍了一种通用的多模态大语言模型mPLUG-Owl2，它有效地利用模态协作来提高文本和多模态任务的性能。mPLUG-Owl2采用模块化网络设计，其中语言解码器作为管理不同模态的通用接口。具体而言，mPLUG-Owl2采用共享功能模块来促进模态协作，并引入模态自适应模块来保留模态特定的特征。广泛的实验表明，mPLUG-Owl2能够推广文本任务和多模态任务，并使用单个通用模型实现最先进的性能。值得注意的是，mPLUG-Owl2是第一个在纯文本和多模态情况下展示模态协作现象的MLLM模型，在未来多模态基础模型的发展中开创了先驱道路。

本论文旨在介绍一种多模态大语言模型mPLUG-Owl2，通过有效利用模态协作来提高文本和多模态任务的性能。

mPLUG-Owl2采用模块化网络设计，语言解码器充当管理不同模态的通用接口。具体而言，mPLUG-Owl2采用共享功能模块来促进模态协作，并引入模态自适应模块来保留模态特定的特征。

mPLUG-Owl2能够推广文本任务和多模态任务，并使用单个通用模型实现最先进的性能。mPLUG-Owl2是第一个在纯文本和多模态场景中展示模态协作现象的MLLM模型，为未来多模态基础模型的发展开辟了先河。

相关论文：Multi-modal Pretraining for Dense Video Captioning by Luowei Zhou et al. (2021); Unicoder-VL: A Universal Encoder for Vision and Language by Liunian Harold Li et al. (2019); VisualBERT: A Simple and Performant Baseline for Vision and Language by Liunian Harold Li et al. (2019).