AIGCs Confuse AI Too: Investigating and Explaining Synthetic Image-induced Hallucinations in Large Vision-Language Models

人工智能生成内容（AIGCs）的演变正在朝着更高质量的方向发展。与AIGCs的不断互动为数据驱动的人工智能社区带来了新的挑战：虽然AI生成的内容在各种人工智能模型中发挥了至关重要的作用，但它们引入的潜在风险尚未得到彻底的研究。除了面向人类的伪造检测外，AI生成的内容还对最初设计用于处理自然数据的人工智能模型可能产生潜在问题。在本研究中，我们强调了由AI合成图像引起的大型视觉语言模型（LVLMs）中恶化的幻觉现象。值得注意的是，我们的研究结果揭示了一种一致的AIGC幻觉偏见：由合成图像引起的物体幻觉特征数量更多，位置分布更均匀，即使这些合成图像与自然图像相比没有表现出不现实或额外相关的视觉特征。此外，我们对Q-former和线性投影仪的调查表明，合成图像在视觉投影后可能呈现出符号偏差，从而放大幻觉偏见。

本论文旨在探讨人工智能生成内容（AIGC）对大型视觉语言模型（LVLMs）的影响，特别是通过AI合成图像引起的幻觉现象。研究发现，合成图像引起的物体幻觉具有更多的数量和更均匀的位置分布，即使这些合成图像与自然图像相比没有表现出不现实或额外的相关视觉特征。此外，研究发现，合成图像可能在视觉投影后呈现记号偏差，从而放大幻觉偏差。

本论文的关键思路是探讨AI生成内容对LVLMs的幻觉现象的影响，发现合成图像引起的物体幻觉具有更多的数量和更均匀的位置分布，即使这些合成图像与自然图像相比没有表现出不现实或额外的相关视觉特征。

本研究使用了多个数据集进行实验，并发现合成图像引起的物体幻觉具有一致的偏差，即更多的数量和更均匀的位置分布。此外，研究还发现合成图像可能在视觉投影后呈现记号偏差，从而放大幻觉偏差。这些发现对于AI模型的开发和使用具有重要意义。

最近的相关研究包括《大规模预训练语言模型的发展》、《深度学习中的视觉幻觉现象》等。