Benchmarking Vision Language Models for Cultural Understanding

基础模型和视觉语言预训练已经显著推进了视觉语言模型（VLMs）的发展，使其能够进行视觉和语言数据的多模态处理。然而，它们的性能通常是在一般场景理解方面进行评估的，即识别对象、属性和动作，而不是文化理解。本研究介绍了CulturalVQA，这是一个视觉问答基准，旨在评估VLM对地理多样文化的理解。我们策划了一组2,378个图像-问题对，每个问题有1-5个答案，代表来自5个大洲的11个国家的不同文化。问题探究文化的各个方面，如服装、食品、饮料、仪式和传统。在CulturalVQA上对VLM进行基准测试，包括GPT-4V和Gemini，揭示了它们在不同地区的文化理解水平存在差异，北美的文化理解能力强，而非洲的性能明显较低。我们还观察到它们在文化方面的表现存在差异，其中服装、仪式和传统的表现要优于食品和饮料。这些差异帮助我们确定VLM缺乏文化理解的领域，并展示了CulturalVQA作为全面评估VLM在理解不同文化方面进展的评估集的潜力。

本文旨在引入CulturalVQA，一个评估视觉语言模型（VLM）对不同文化理解的基准测试集。此前的VLM性能评估主要集中在一般场景理解上，而非文化理解。

CulturalVQA是一个由2378个图像-问题对组成的基准测试集，包括11个国家、5个大洲的文化。问题涵盖文化的各个方面，如服装、食品、饮料、仪式和传统。通过在CulturalVQA上对比评估VLM的性能，发现不同地区的文化理解能力存在差异，北美表现较好，而非洲表现较差。此外，不同文化方面的表现也存在差异，服装、仪式和传统的表现较好，而食品和饮料的表现较差。

实验使用了CulturalVQA数据集，并对比评估了不同的VLM模型，包括GPT-4V和Gemini。结果表明，VLM在文化理解方面存在明显的差异和不足。CulturalVQA可作为评估VLM在理解多元文化方面进展的全面基准测试集。

近期相关研究包括：1）ViLBERT：Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks；2）VisualBERT: A Simple and Performant Baseline for Vision and Language；3）Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training。