An Introduction to Vision-Language Modeling

随着大型语言模型（LLMs）的近期普及，已经尝试将它们扩展到视觉领域。从拥有一个能够引导我们穿越陌生环境的视觉助手，到使用仅高级文本描述生成图像的生成模型，视觉语言模型（VLM）应用将显著影响我们与技术的关系。然而，需要解决许多挑战，以提高这些模型的可靠性。虽然语言是离散的，但视觉在一个更高维度的空间中发展，其中概念并不总是容易离散化。为了更好地理解将视觉映射到语言背后的机制，我们介绍了这篇关于VLM的介绍，希望能帮助任何想进入该领域的人。首先，我们介绍了VLM是什么，它们如何工作以及如何训练它们。然后，我们介绍和讨论了评估VLM的方法。虽然这项工作主要关注将图像映射到语言，但我们还讨论了将VLM扩展到视频的方法。

介绍视觉语言模型（VLMs）的概念和应用，并探讨如何解决VLMs中的挑战。

通过将图像映射到语言，VLMs可以帮助我们在不熟悉的环境中导航，同时生成模型可以仅使用高级文本描述生成图像。

论文介绍了VLMs的工作原理和训练方法，并探讨了评估VLMs的方法。此外，论文还讨论了将VLMs扩展到视频的方法。实验使用了多个数据集，并提供了开源代码。

最近的相关研究包括：《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》、《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》和《LXMERT: Learning Cross-Modality Encoder Representations from Transformers》。