If CLIP Could Talk: Understanding Vision-Language Model Representations Through Their Preferred Concept Descriptions

最近的研究通常假设视觉语言模型（VLM）的表示是基于形状等视觉属性的。然而，目前尚不清楚VLM在表示概念时在多大程度上优先考虑这些信息。我们提出了一种新方法，称为“提取和探索”（EX2），用于表征VLM的重要文本特征。EX2使用强化学习将大型语言模型与VLM偏好对齐，并生成包含VLM重要特征的描述。然后，我们检查这些描述，以确定哪些特征对于VLM的表示有贡献。我们发现，虽然没有提供任何有用信息，但虚假描述在VLM表示中起着重要作用，例如“单击放大CONCEPT的照片”。更重要的是，在信息化的描述中，VLM在表示视觉概念时显著依赖于像栖息地这样的非视觉属性。此外，我们的分析显示，不同的VLM在其表示中优先考虑不同的属性。总的来说，我们表明VLM不仅仅是将图像与场景描述匹配，非视觉甚至虚假的描述也显著影响其表示。

论文旨在研究视觉语言模型（VLM）的文本特征，并探讨VLM对于概念表示中视觉属性的重要性。

论文提出了一种新方法EX2，使用强化学习来对齐大型语言模型和VLM偏好，并生成包含VLM重要特征的描述。然后，通过检查描述来确定对于VLM表示有贡献的特征。研究发现，尽管提供了无用信息，但虚假描述在VLM表示中起着重要作用。此外，VLM在表示视觉概念时显著依赖于非视觉属性，如栖息地。

论文实验使用了不同的数据集和VLM模型，并发现不同的VLM模型在其表示中优先考虑不同的属性。值得关注的是，VLM并不仅仅是将图像与场景描述匹配，而是非视觉或虚假描述对于其表示具有重要影响。

近期的相关研究包括：1）《VisualBERT：A Simple and Performant Baseline for Vision and Language》；2）《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》；3）《ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-text Data》。