Puzzled by Puzzles: When Vision-Language Models Can't Take a Hint

谜语图（Rebus puzzles）是一种通过图像、空间排列和象征性替代来编码语言的视觉谜题，对当前的视觉-语言模型（VLMs）构成了独特的挑战。与传统的图像描述或问答任务不同，解答谜语图需要多模态抽象能力、符号推理以及对文化、音韵和语言双关的理解。在本文中，我们通过构建一个手工生成并标注的多样化英语谜语图基准数据集，研究了现代VLMs解释和解决谜语图的能力。该数据集涵盖了从简单的象形替代到依赖空间关系的线索（例如“head”在“heels”之上）。我们分析了不同VLMs的表现，并发现尽管这些模型在解码简单视觉线索时展现出一些令人惊讶的能力，但在需要抽象推理、横向思维和理解视觉隐喻的任务上，它们的表现显著受限。

该论文试图评估当前视觉-语言模型（VLMs）在解决rebus谜题方面的表现，这是一种需要多模态抽象、符号推理和文化/语言双关理解的任务。这是一个相对新颖的问题，因为传统任务如图像描述或问答系统并未涉及如此复杂的符号和隐喻理解。

论文的关键思路是构建一个手动生成并标注的rebus谜题基准数据集，涵盖从简单图示替换到复杂空间提示的多种类型，并通过此数据集测试不同VLMs的能力。相比现有研究，这篇论文将VLMs的应用范围扩展到了更复杂的符号推理领域，揭示了模型在抽象思维上的局限性。

论文设计了一个多样化的rebus谜题数据集，并对多个VLMs进行了系统评估。实验表明，尽管模型可以处理简单的视觉线索，但在需要抽象推理和理解视觉隐喻的任务上表现不佳。此外，作者强调了文化、语音和语言双关的重要性，这为未来的研究提供了方向。目前尚无开源代码，但创建类似的数据集和改进模型可能是值得深入研究的方向。

近期相关研究包括：1)《Multimodal Reasoning in Vision-Language Models: A Survey》，综述了多模态推理领域的进展；2)《Symbolic Reasoning with Pre-trained Language Models》，探讨了预训练语言模型在符号推理中的能力；3)《Visual Metaphor Understanding with Neural Networks》，研究神经网络对视觉隐喻的理解能力。这些工作共同推动了AI在复杂跨模态任务中的表现。