What matters when building vision-language models?

越来越多的视觉语言模型（VLMs）的兴趣是由于大型语言模型和视觉转换器的改进。尽管这个主题的文献很丰富，但我们观察到关于VLM设计的关键决策通常没有得到证明。我们认为这些不受支持的决策妨碍了该领域的进展，因为很难确定哪些选择可以提高模型性能。为了解决这个问题，我们在预训练模型、架构选择、数据和训练方法等方面进行了广泛的实验。我们的研究成果包括开发出一个8亿参数的高效基础VLM模型Idefics2。Idefics2在各种多模态基准测试中实现了同类别尺寸的最先进性能，并且通常与四倍于它的模型相当。我们发布了该模型（基础、指导和聊天）以及为其训练创建的数据集。

本论文试图解决视觉-语言模型设计中的决策缺乏支持的问题，以及难以确定哪些选择能提高模型性能的问题。

论文通过进行大量实验，包括预训练模型、架构选择、数据和训练方法等方面，提出了一种高效的视觉-语言模型Idefics2，并在各种多模态基准测试中取得了最先进的性能。

论文开发了一个高效的视觉-语言模型Idefics2，该模型具有80亿个参数，取得了同类模型中的最先进性能。论文还开源了模型和用于训练的数据集。实验设计详细，包括预训练模型、架构选择、数据和训练方法等方面，值得深入研究。

在这个领域中，最近的相关研究包括《VisualBERT: A Simple and Performant Baseline for Vision and Language》、《Unified Vision-Language Pre-Training for Image Captioning and VQA》等。