MM1.5: Methods, Analysis & Insights from Multimodal LLM Fine-tuning

我们介绍了MM1.5，这是一种新的多模态大语言模型（MLLMs）系列，旨在增强文本丰富的图像理解、视觉引用和基础以及多图像推理能力。在MM1架构的基础上，MM1.5采用了以数据为中心的方法进行模型训练，系统地探索了整个模型训练生命周期内不同数据混合的影响。这包括高质量的OCR数据和合成字幕进行持续预训练，以及优化的视觉指导调整数据混合进行监督微调。我们的模型范围从10亿到30亿参数，包括密集和专家混合（MoE）变体，并证明了精心策划的数据和训练策略即使在小规模（10亿和30亿）也可以产生强大的性能。此外，我们还引入了两个专门的变体：MM1.5-Video，设计用于视频理解，以及MM1.5-UI，专门用于移动UI理解。通过广泛的实证研究和消融实验，我们提供了关于训练过程和决策的详细见解，为未来的MLLM开发研究提供了有价值的指导。

MM1.5试图提高文本丰富的图像理解、视觉引用和关联以及多图像推理的能力。这是一个新的问题，因为它是在大规模语言模型的基础上，通过数据的混合和训练策略来解决这个问题。

MM1.5采用数据中心的方法，通过整个模型训练生命周期中不同数据混合的影响来系统地探索模型训练的影响。这包括高质量的OCR数据和合成字幕的持续预训练，以及用于监督微调的优化视觉指令调整数据混合。

论文介绍了一种新的大规模语言模型MM1.5，它包括1B到30B参数的模型，涵盖了密集和专家混合（MoE）变体，并证明了即使在小规模（1B和3B）下，精心策划的数据和训练策略也可以产生强大的性能。此外，论文还介绍了两种专门的变体：MM1.5-Video，用于视频理解，以及MM1.5-UI，专为移动UI理解而设计。通过大量的实证研究和消融实验，提供了详细的洞察力，为未来的MLLM开发研究提供了有价值的指导。

在这个领域中，最近的相关研究包括GShard、Switch Transformers等。