MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training

本文讨论了构建高性能的多模态大语言模型（MLLMs）的问题。特别是，我们研究了各种架构组件和数据选择的重要性。通过仔细而全面地对图像编码器、视觉语言连接器和各种预训练数据的消融实验，我们确定了几个关键的设计要点。例如，我们证明了在大规模多模态预训练中，使用精心混合的图像字幕、交错的图像文本和纯文本数据对于在多个基准测试中实现最先进的（SOTA）少样本结果至关重要，而与其他已发表的预训练结果相比。此外，我们展示了图像编码器与图像分辨率和图像标记数量的结合对结果有很大的影响，而视觉语言连接器的设计相对较不重要。通过扩大所提出的方法，我们构建了MM1，一个多模态模型系列，包括高密度模型和专家混合（MoE）变体，其参数规模可达30B，是预训练指标的SOTA，并在一系列已建立的多模态基准测试中实现了竞争性的性能。由于大规模预训练，MM1具有诸如增强上下文学习和多图像推理等吸引人的特性，使得少样本的思维链提示成为可能。

本论文旨在构建性能优越的多模态大语言模型（MLLMs），解决多模态预训练中的关键问题，并验证各种架构组件和数据选择的重要性。

本论文通过对图像编码器、视觉语言连接器和各种预训练数据选择的全面剖析，确定了几个关键的设计要点，并提出了一种新的预训练数据选择方法，通过大规模多模态预训练，建立了一个30B参数的多模态模型家族MM1，该模型在预训练指标上领先，并在多个基准测试中取得了竞争性能。

本论文的亮点包括：通过混合图像标题、交错图像文本和纯文本数据进行大规模多模态预训练，实现了多个基准测试的SOTA few-shot结果；发现图像编码器、图像分辨率和图像令牌数对模型性能有重要影响；构建了一个30B参数的多模态模型家族MM1，实现了多图像推理和少样本思维引导等功能。

近期在这个领域中的相关研究包括：《DALL-E: Creating Images from Text》、《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》等。