Lost in Embeddings: Information Loss in Vision-Language Models

视觉-语言模型（VLM）通常通过预训练的视觉编码器处理视觉输入，再经由一个连接组件将视觉表征投影到语言模型的嵌入空间中。尽管这一投影步骤对于模态融合至关重要，但其可能引发的信息损失及其对模型能力的直接影响尚未得到充分研究。本文提出两种互补的方法，通过分析潜在表征空间来检验并量化这种信息损失。首先，我们通过比较图像表征在投影前后的k近邻关系变化，评估语义信息的保留程度；其次，我们通过从投影后的表征中重建原始视觉嵌入，直接测量信息损失，并在图像块级别上定位损失区域。实验表明，连接组件显著扭曲了视觉表征的局部几何结构，投影后k近邻的差异达到40%至60%，且与检索性能的下降密切相关。基于图像块级别的嵌入重建方法为模型在视觉基础问答任务中的行为提供了可解释的洞察：信息损失较高的区域能够可靠地预测模型表现困难的案例。

论文探讨了视觉-语言模型（VLMs）中连接器组件在将视觉表示投影到语言模型嵌入空间时可能带来的信息损失问题。这一问题尚未被充分研究，尤其是在局部几何结构的失真及其对模型性能的影响方面。

论文提出了两种互补的方法来分析和量化信息损失：一是通过比较图像表示在投影前后的k近邻关系变化来评估语义信息的保留程度；二是通过从投影后的表示重建视觉嵌入，实现图像块级别的信息损失定位。这一思路首次系统性地揭示了连接器对视觉-语言融合的影响。

1. 实验显示，连接器显著扭曲了视觉表示的局部几何结构，k近邻变化率高达40%-60%，并影响检索性能。 2. 图像块级别的重建提供了对模型行为的可解释性洞察，发现高信息损失区域与模型在视觉问答任务中的困难实例高度相关。 3. 研究揭示了连接器设计的重要性，并为未来改进视觉-语言融合提供了新方向。 4. 实验设计严谨，涵盖了多个视觉-语言任务和数据集，具有可复现性潜力。

1. Align before Fuse: Vision-Language Alignment Network for Image-Text Retrieval 2. Learning Transferable Visual Models From Natural Language Supervision 3. Flamingo: a Visual Language Model for In-Context Learning 4. BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation 5. Cross-modal Contrastive Learning for Text-to-Image Generation