Unified Hallucination Detection for Multimodal Large Language Models

尽管在多模态任务方面取得了重要进展，但多模态大语言模型（MLLMs）仍然存在严重的幻觉问题。因此，可靠地检测MLLMs中的这种幻觉已成为模型评估和实际应用部署保障的重要方面。以往在这个领域的研究受到了狭窄的任务范围、涉及的幻觉类别不足以及缺乏详细的细粒度等挑战的限制。为了应对这些挑战，我们的工作扩展了幻觉检测的研究范围。我们提出了一个新颖的元评估基准，MHaluBench，精心设计以促进幻觉检测方法的进步评估。此外，我们揭示了一个新颖的统一多模态幻觉检测框架，UNIHD，它利用一套辅助工具来强化幻觉的验证。我们通过细致的评估和全面的分析证明了UNIHD的有效性。我们还提供了关于应用特定工具来解决各种幻觉类别的战略性见解。

本论文旨在解决Multimodal Large Language Models (MLLMs)中的幻觉问题，提出了一个新的元评估基准MHaluBench，并提出了一个新的统一的多模态幻觉检测框架UNIHD。

论文的关键思路是提出了一个新的统一的多模态幻觉检测框架UNIHD，该框架利用了一系列辅助工具来验证幻觉的发生。

论文通过MHaluBench提供了一个新的元评估基准，展示了UNIHD框架的有效性，并提供了关于应用特定工具来解决不同幻觉类别的策略性见解。

最近的相关研究包括：1.《Multimodal Transformer for Unaligned Multimodal Language Sequences》；2.《VisualBERT: A Simple and Performant Baseline for Vision and Language》；3.《Multimodal Pretraining for Dense Video Captioning》。