Building and better understanding vision-language models: insights and future directions

视觉-语言模型（VLMs）领域正在快速发展，其将图像和文本作为输入并输出文本，但在开发流程中仍存在几个关键方面没有达成共识，包括数据、架构和训练方法。本文可以看作是构建VLM的教程。我们首先提供了当前最先进方法的全面概述，强调每种方法的优缺点，解决该领域的主要挑战，并为未被充分开发的领域提出有前途的研究方向。然后，我们通过实际步骤介绍了如何构建Idefics3-8B，这是一个强大的VLM，明显优于其前身Idefics2-8B，同时训练效率高，仅使用开放数据集，并使用简单的流程。这些步骤包括创建Docmatix，这是一个用于提高文档理解能力的数据集，比以前可用的数据集大240倍。我们发布了模型以及用于训练的数据集。

本论文旨在提供一个视觉-语言模型（VLM）的构建教程，解决VLM领域中数据、架构和训练等方面的挑战。

论文提供了一种有效的建立VLM的方法，包括使用一个新的数据集Docmatix来提高文档理解能力，并构建了一个性能显著优于之前模型的新模型Idefics3-8B。

论文介绍了当前VLM领域的最新方法，分析了每种方法的优缺点，并提出了未来的研究方向。实验中使用了开放数据集，提供了模型和数据集的开源代码。

近期相关研究包括：1.《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》；2.《VisualBERT: A Simple and Performant Baseline for Vision and Language》。