AUTOHALLUSION: Automatic Generation of Hallucination Benchmarks for Vision-Language Models

大型视觉语言模型（LVLM）会产生幻觉：图像中的某些上下文提示可能会触发语言模块对异常或假想对象的过度自信和错误推理。虽然已经开发了一些基准来研究LVLM的幻觉，但它们主要依赖于手工制作的极端情况，其失败模式可能很难推广，并且在它们上面进行微调可能会削弱其有效性。这促使我们开发了第一个自动基准生成方法AUTOHALLUSION，它利用几个主要策略创建多样化的幻觉示例。它通过探测LVLM中的语言模块的上下文提示，并使用它们来合成图像，通过以下方式制造幻觉示例：（1）添加与上下文提示不符的对象；（2）对于两个共存的对象，保留一个并排除另一个；或者（3）移除与上下文提示紧密相关的对象。然后，它生成基于图像的问题，其正确答案与语言模块的先验相矛盾。模型必须克服上下文偏见和干扰才能得出正确答案，而不正确或不一致的答案则表明出现了幻觉。AUTOHALLUSION使我们能够以最小的成本创建新的基准，从而克服了手工制作基准的脆弱性。它还揭示了常见的失败模式和原因，为检测、避免或控制幻觉提供了关键见解。对顶尖的LVLM进行全面评估，例如GPT-4V（ision）、Gemini Pro Vision、Claude 3和LLaVA-1.5，在AUTOHALLUSION的合成和真实数据集上显示出97.7％和98.7％的幻觉诱导成功率，为长期对抗幻觉铺平了道路。

论文旨在解决LVLMs中出现幻觉的问题，并提出了一种自动生成基准测试集的方法。

AUTOHALLUSION是一种自动生成基准测试集的方法，通过添加异常对象、保留一个并排对象或删除与上下文线索紧密相关的对象来合成图像，并生成与LVLMs的先验矛盾的问题，以检测幻觉。

论文通过AUTOHALLUSION方法生成的测试集，对包括GPT-4V(ision)、Gemini Pro Vision、Claude 3和LLaVA-1.5在内的顶级LVLMs进行了全面评估，结果显示在合成和真实数据集上，幻觉诱导的成功率分别为97.7%和98.7%。这种方法的优点是能够在最小的成本下创建新的基准测试集，同时揭示了常见的失败模式和原因。

近期的相关研究包括：《GPT Understands, Too》、《LXMERT: Learning Cross-Modality Encoder Representations from Transformers》、《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》等。