Evaluating Visual and Cultural Interpretation: The K-Viscuit Benchmark with Human-VLM Collaboration

要创建具有文化包容性的视觉语言模型（VLMs），首要要求是开发一个可以诊断模型对反映文化元素的问题作出反应能力的测试基准。本文讨论了这种基准的必要性，指出现有研究依赖于人工注释者的手动努力，这妨碍了多样性和效率。我们提出了一个半自动化管道，用于构建文化VLM基准，以增强多样性和效率。该管道利用人-VLM协作，其中VLM根据指南、人工注释的示例和与图像相关的知识生成问题，然后由本地人审核质量和文化相关性。我们的可适应管道的有效性通过特定应用的演示得到了证明：创建一个针对韩国文化量身定制的数据集，称为K-Viscuit。生成的基准包括两种类型的问题：类型1问题衡量视觉识别能力，而类型2问题评估细粒度视觉推理技能。这确保了对VLM模型在各个方面进行全面的诊断。我们使用K-Viscuit进行的评估显示，开源模型在理解韩国文化方面明显落后于专有模型，突出了需要改进的领域。我们提供了不同文化方面VLM性能的多样化分析。此外，我们探讨了整合外部知识检索以增强生成过程的潜力，为提高VLM的文化解释能力提出了未来方向。我们的数据集和代码将公开发布。

构建文化包容的视觉语言模型需要什么样的测试基准？现有的研究依赖于人工标注，效率和多样性存在问题。本文提出了一种半自动化的流程，通过人工-模型协作生成问题，以创建适用于韩国文化的数据集K-Viscuit来展示其有效性。

使用人工-模型协作的方式构建文化VLM基准，旨在提高多样性和效率。

本文提出的半自动化流程包括模型生成问题、本地语言专家审核、类型1和类型2问题的生成和评估。K-Viscuit数据集包含针对韩国文化的问题。实验结果表明，开源模型在理解韩国文化方面明显落后于专有模型。

最近的相关研究主要集中在文化多样性和视觉语言模型方面，如《How2R2021: A Challenge on Multimodal Machine Learning》、《Cross-Cultural Transfer Learning for Image Captioning》等。