Unveiling Hallucination in Text, Image, Video, and Audio Foundation Models: A Comprehensive Review

基础模型在语言、图像、音频和视频领域的快速发展已经展示出在各种任务中出色的能力。然而，基础模型的大量使用也带来了一个关键挑战：在高风险应用中产生虚假输出的潜在可能性，尤其是在可靠性和准确性至关重要的领域中。基础模型倾向于产生虚假内容，这可能是它们在现实世界场景中广泛应用的最大障碍。本综述论文全面概述了最近在文本、图像、视频和音频模式下旨在识别和减轻基础模型产生幻觉问题的最新发展。通过综合各种模式下检测和减轻幻觉的最新进展，本文旨在为研究人员、开发人员和实践者提供有价值的见解。本文建立了一个清晰的框架，包括定义、分类和检测策略，以解决多模式基础模型中的幻觉问题，为未来在这一关键领域的研究奠定基础。

本论文旨在解决基础模型在各种任务中产生虚假输出的问题，即幻觉现象，这是一个新问题。

本论文提出了综合的幻觉检测和缓解框架，包括定义、分类和检测策略，以解决基础模型中的幻觉问题。

本论文涵盖了文本、图像、视频和音频等多种模态，综合了最新的幻觉检测和缓解方法，提供了有价值的见解。实验使用了多个数据集，提供了开源代码。

最近的相关研究包括：'Detecting and Correcting Spurious Responses in Generative Dialogue Models'、'Controllable Invariance through Adversarial Feature Learning'、'Towards Robustness against Label Noise in Training Deep Discriminative Neural Networks'等。