mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality

解决问题： 本篇论文旨在解决如何通过模块化学习来赋予大型语言模型（LLMs）多模态能力的问题。同时，该研究还探索了LLMs在多模态生成方面的应用。这是一个新问题。

关键思路： mPLUG-Owl是一种新的训练范式，通过模块化学习基础LLM、视觉知识模块和视觉抽象模块，为LLMs赋予多模态能力。该方法可以支持多种模态，并通过模态协作促进多样的单模态和多模态能力。mPLUG-Owl的训练范式涉及两个阶段的方法，用于对齐图像和文本，学习LLM的视觉知识，同时维护甚至提高LLM的生成能力。实验结果表明，该模型优于现有的多模态模型，展示了mPLUG-Owl在指令和视觉理解能力、多轮对话能力和知识推理能力方面的卓越表现。除此之外，该模型还具有一些意外和令人兴奋的能力，如多图像相关性和场景文本理解，这使得它有可能在更难的实际场景中得到应用，例如仅有视觉信息的文档理解。

其他亮点： 该论文提供了一个在线演示和开源代码、预训练模型、指令调整模型和评估集，方便其他研究者进行复现和进一步研究。

关于作者： 本篇论文的主要作者来自中国科学院自动化研究所和华为技术有限公司。他们之前的代表作包括：

  1. Qinghao Ye：《Learning to Navigate Unseen Environments: Back Translation with Environmental Dropout》
  2. Haiyang Xu：《Learning to Learn with Conditional Class Dependencies》
  3. Guohai Xu：《Multi-View 3D Object Detection Network for Autonomous Driving》
  4. Ming Yan：《A Review of Recent Advances in Vehicle Re-Identification》
  5. Yiyang Zhou：《Semi-Supervised Learning for Large-Scale Visual Recognition: An Empirical Study》

相关研究： 近期其他相关研究包括：

  1. "Multimodal Transformer for Unaligned Multimodal Language Sequences"，作者：Xiaoya Li等，机构：CMU
  2. "Multimodal Pretraining for Dense Video Captioning"，作者：Xin Wang等，机构：CUHK
  3. "Multi-Modal Transformers for Video Captioning"，作者：Xin Wang等，机构：CUHK

论文摘要：本研究介绍了一种名为mPLUG-Owl的新型训练范式，通过基于模块化的学习方法，使大型语言模型（LLMs）具备多模态能力，包括基础LLM、视觉知识模块和视觉抽象模块。该方法可以支持多种模态，通过模态协作实现多样的单模态和多模态能力。mPLUG-Owl的训练范式包括两个阶段的图像和文本对齐方法，借助LLM学习视觉知识的同时，保持甚至提高LLM的生成能力。在第一阶段，使用冻结的LLM模块训练视觉知识模块和抽象模块以对齐图像和文本；在第二阶段，使用语言和多模态监督数据集，通过冻结视觉知识模块，联合微调LLM和抽象模块的低秩适应（LoRA）模块。研究人员还精心构建了一个与视觉相关的指令评估集OwlEval。实验结果表明，该模型优于现有的多模态模型，展示了mPLUG-Owl的出色指令和视觉理解能力、多轮对话能力和知识推理能力。此外，研究人员还观察到了一些意外和令人兴奋的能力，如多图像关联和场景文本理解，这使得它可以用于更难的真实场景，如仅基于视觉的文档理解。该研究的代码、预训练模型、指令调整模型和评估集可以在https://github.com/X-PLUG/mPLUG-Owl上获得。在线演示可在https://www.modelscope.cn/studios/damo/mPLUG-Owl上获得。

内容中包含的图片若涉及版权问题，请及时与我们联系删除