A Survey of Multimodal Large Language Model from A Data-centric Perspective

人类通过多种感官如视觉、嗅觉、听觉和触觉来感知世界。同样地，多模态大语言模型（MLLMs）通过集成和处理来自多个模态的数据，包括文本、视觉、音频、视频和3D环境，增强了传统大语言模型的能力。数据在这些模型的开发和改进中起着关键作用。在这篇综述中，我们从数据为中心的角度全面回顾了MLLMs的文献。具体而言，我们探讨了在MLLMs的预训练和适应阶段准备多模态数据的方法。此外，我们分析了数据集的评估方法，并回顾了评估MLLMs的基准。我们的综述还概述了未来研究方向。本文旨在为研究人员提供关于MLLMs数据驱动方面的详细理解，促进该领域的进一步探索和创新。

多模态大语言模型（MLLMs）如何从数据驱动的角度进行预训练和适应数据的准备？如何评估和比较这些模型？

本文从数据处理的角度全面回顾了多模态大语言模型（MLLMs）的研究现状，提出了一种基于预训练和微调的多模态数据处理方法，同时探讨了数据集的评估方法和MLLMs的基准测试。

本文提出的多模态数据处理方法包括了预训练和微调两个阶段，同时介绍了多个用于评估MLLMs的数据集和基准测试。此外，本文还探讨了MLLMs的未来研究方向，如如何处理更多种类的数据和如何提高模型的效率。

最近在这个领域中，还有一些相关的研究，如《VisualBERT：一种视觉语言编码器的预训练模型》、《UNITER：一种统一的跨模态转换网络》和《DALL·E：一种生成图像的神经网络》。