Hallucination of Multimodal Large Language Models: A Survey

本文介绍了多模态大语言模型（MLLMs），也称为大视觉语言模型（LVLMs）中幻觉现象的全面分析。这些模型在多模态任务中展示出了显著的进展和出色的能力。尽管有这些有前途的发展，MLLMs经常生成与视觉内容不一致的输出，这是一个称为幻觉的挑战，它给它们在实际应用中的部署带来了重大障碍，并引起了对它们在现实世界应用中可靠性的担忧。这个问题引起了越来越多的关注，促使人们努力检测和减轻这些不准确性。我们回顾了最近在识别、评估和减轻这些幻觉方面的进展，提供了幻觉产生的根本原因、评估基准、度量和解决这个问题的策略的详细概述。此外，我们分析了当前的挑战和限制，制定了开放性问题，勾勒了未来研究的潜在路径。通过绘制幻觉原因、评估基准和减轻方法的细致分类和景观，本文旨在加深对MLLMs中幻觉现象的理解，并激发该领域的进一步发展。通过我们的彻底和深入的审查，我们为提高MLLMs的健壮性和可靠性做出了贡献，为研究人员和实践者提供了有价值的见解和资源。资源可在以下网址获得：https://github.com/showlab/Awesome-MLLM-Hallucination。

论文旨在解决多模态大语言模型（MLLMs）中的幻觉问题，即LVLMs。这个问题对于它们在实际应用中的可靠性和鲁棒性提出了挑战。

论文通过回顾最新的研究进展，提供了一种识别、评估和减轻幻觉的方法，包括幻觉的原因、评估基准、指标和策略。同时，论文也分析了当前的挑战和限制，并提出了未来研究的潜在方向。

论文的亮点包括：详细的幻觉分类和原因分析、评估基准和指标的介绍、幻觉减轻方法的总结以及开放的问题和未来研究方向。实验使用了多个数据集，开源代码也可用。

最近的相关研究包括：《Vision-Language Pre-training with Contrastive Cross-Modal Tasks》、《Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training》等。