Mitigating Entity-Level Hallucination in Large Language Models

大型语言模型（LLM）的出现彻底改变了用户访问信息的方式，从传统的搜索引擎转向与LLM直接进行问答交互。然而，LLM的广泛应用揭示了一个重要挑战，即幻觉现象，即LLM生成的回答虽然连贯但事实上不准确。这种幻觉现象导致用户对基于LLM的信息检索系统的不信任。为了解决这一挑战，本文提出了一种新的方法，即基于幻觉检测的动态检索增强（DRAD），用于检测和减轻LLM中的幻觉。DRAD通过基于实时幻觉检测动态调整检索过程，改进了传统的检索增强方法。它具有两个主要组成部分：实时幻觉检测（RHD）用于识别潜在的幻觉，而无需外部模型，以及基于外部知识的自我纠正（SEK）用于使用外部知识纠正这些错误。实验结果表明，DRAD在LLM中检测和减轻幻觉方面表现出优越的性能。我们的所有代码和数据都在https://github.com/oneal2000/EntityHallucination上开源。

本论文旨在解决大型语言模型（LLMs）中的幻觉现象，即生成了连贯但事实不准确的响应，这导致用户对基于LLMs的信息检索系统的不信任。

本文提出了一种名为DRAD的新方法，通过动态检测幻觉并根据实时检测结果动态调整检索过程，以检测和减轻LLMs中的幻觉。

DRAD具有两个主要组成部分：实时幻觉检测（RHD）和基于外部知识的自我纠正（SEK）。实验结果表明，DRAD在检测和减轻LLMs中的幻觉方面表现出优越性。所有代码和数据都在GitHub上开源。

最近的相关研究包括《BERT Has a Moral Compass: Improving Social Biases in Language Models》和《Adversarial Training for Large Neural Language Models》。