SUGARCREPE++ Dataset: Vision-Language Model Sensitivity to Semantic and Lexical Alterations

尽管最先进的大型语言模型（LLMs），包括视觉语言模型（VLMs）和单模态语言模型（ULMs），取得了显著的成功，但它们仍然无法理解精确的语义。例如，使用不同的词汇组合表达的语义等价的句子会引发不同的表示，这种差异的程度及其对编码语义的影响还不是很清楚。本文介绍了SUGARCREPE++数据集，以分析VLMs和ULMs对词汇和语义变化的敏感性。SUGARCREPE++数据集中的每个样本都包含一张图像和一个相应的三元组标题：一对语义等价但词汇不同的正标题和一个困难的负标题。这给语言模型提出了一个三元组语义（不）等价问题。我们全面评估了不同架构、预训练目标和数据集的VLMs和ULMs，以基准测试SUGARCREPE++数据集的性能。实验结果突出了VLMs在区分词汇和语义变化方面的困难，特别是在对象属性和空间关系方面。尽管具有更大的预训练数据集、模型大小和多个预训练目标的VLMs在SUGARCREPE++上取得了更好的性能，但仍有很大的提升空间。我们表明，在组合性数据集上表现更好的所有模型不一定在SUGARCREPE++上表现同样出色，这表明仅有组合性可能不足以理解语义和词汇变化。鉴于SUGARCREPE++数据集所关注的属性的重要性，它成为视觉语言社区的一个新挑战。

论文旨在分析大型语言模型（LLMs）对词汇和语义变化的敏感度。作者提出了SUGARCREPE ++数据集，其中每个样本都包含一张图像和一个由三个标题组成的三元组：一对语义等价但词汇不同的正标题和一个负标题。作者的目标是测试VLMs和ULMs在处理词汇和语义变化时的表现。

论文提出了SUGARCREPE ++数据集，旨在测试VLMs和ULMs在处理语义和词汇变化时的表现。作者发现，VLMs在识别物体属性和空间关系方面特别困难，尽管使用更大的预训练数据集、模型大小和多个预训练目标可以提高性能，但仍有改进的空间。

论文使用SUGARCREPE ++数据集对VLMs和ULMs进行了全面的评估，并发现VLMs在处理语义和词汇变化时存在困难。实验结果表明，仅仅理解组合性并不足以理解语义和词汇变化。作者的工作为视觉语言社区提出了新的挑战。论文还提供了数据集和代码。

在最近的相关研究中，也有一些关于大型语言模型对词汇和语义变化的敏感度的研究。例如，"BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model"和"How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings"等。