Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models

视觉条件语言模型（VLM）在视觉对话、场景理解和机器人任务规划等应用中得到了越来越广泛的应用，这种应用推动了LLaVa、InstructBLIP和PaLI-3等大量新模型的出现。尽管有大量新模型的发布，但图像预处理、架构和优化等关键设计决策仍未得到充分探索，这使得理解模型性能的因素变得困难，而缺乏客观、一致的评估进一步加剧了这一挑战。为了解决这些问题，我们首先编制了一套标准化评估，涵盖了视觉问答、从语言中定位对象以及探测虚幻属性等方面的目标挑战集，这些评估提供了对VLM能力的校准、细粒度的洞察。其次，我们沿着关键设计轴严格调查了VLM，包括预训练的视觉表示和量化使用基础语言模型与Instruct调整语言模型之间的权衡。我们将分析与三个资源贡献相结合：（1）一个用于评估VLM的统一框架，（2）用于VLM训练的优化、灵活的代码，以及（3）所有模型的检查点，包括一个7-13B规模的VLM系列，严格优于InstructBLIP和LLaVa v1.5，这是开源VLM的最新技术。

本论文旨在探讨视觉条件语言模型（VLM）在图像预处理、架构和优化等方面的设计决策对模型性能的影响，并提供一套标准化的评估体系，以提供对VLM能力的细致评估。

论文提出了一种统一的评估框架，通过对预训练视觉表示和使用基础语言模型与Instruct-tuned语言模型之间的权衡进行深入分析，提出了一种新的VLM架构，取得了优于InstructBLIP和LLaVa v1.5的表现。

论文提供了一套标准化的评估体系，包括视觉问答、从语言中定位对象和探测虚假信息等方面的评估，并提供了优化、灵活的VLM训练代码和所有模型的检查点。此外，论文提出的新型VLM架构具有很高的实用价值和参考意义。

近期在VLM领域的相关研究包括LLaVa、InstructBLIP和PaLI-3等模型的发布，以及对VLM评估和设计决策的探索。