The Law of Knowledge Overshadowing: Towards Understanding, Predicting, and Preventing LLM Hallucination

幻觉是大型语言模型（LLMs）中持续存在的挑战，即使在严格的质控下，模型仍会生成扭曲的事实。这种矛盾现象——尽管使用了高质量的训练数据，错误生成依然存在——要求我们对LLM的底层机制有更深入的理解。为了解决这一问题，我们提出了一个新概念：知识掩盖，即模型的主导知识在文本生成过程中可能会掩盖不太突出的知识，导致模型编造不准确的细节。基于这一理念，我们引入了一个新的框架，通过建模知识掩盖来量化事实幻觉。我们的方法核心是基于对数线性定律，该定律预测事实幻觉的发生率与以下三个因素的对数规模呈线性关系：（1）知识流行度、（2）知识长度和（3）模型大小。该定律提供了一种预先量化幻觉的方法，可以在模型训练或推理之前预见到其发生。基于掩盖效应，我们提出了一种新的解码策略CoDa，以减轻幻觉现象，这显著提高了模型在Overshadow（27.9%）、MemoTrap（13.1%）和NQ-Swap（18.3%）上的准确性。我们的研究不仅加深了对幻觉背后机制的理解，还为开发更具可预测性和可控性的语言模型提供了可行的见解。

该论文试图解决大型语言模型（LLMs）中普遍存在的幻觉问题，即即使使用高质量的训练数据，模型仍然会生成扭曲的事实。这是一个持续性的挑战，并且在现有研究中尚未得到充分解决。

论文提出了一种新的概念——知识遮蔽效应（knowledge overshadowing），即模型的主导知识可能会掩盖不太突出的知识，导致生成不准确的细节。基于这一概念，作者引入了对数线性定律（log-linear law），该定律预测幻觉率与知识流行度、知识长度和模型大小的对数成正比。此外，还提出了一种新的解码策略CoDa，以减少幻觉现象。

1. 提出了知识遮蔽效应的概念，并通过实验验证其有效性。 2. 引入了对数线性定律，提供了一种预估幻觉发生的方法。 3. 提出了解码策略CoDa，在多个基准测试中显著提高了模型的事实准确性。 4. 实验使用了Overshadow、MemoTrap和NQ-Swap等数据集，结果显示CoDa分别提升了27.9%、13.1%和18.3%的准确性。 5. 论文为未来研究提供了深入理解幻觉机制的理论基础，并提出了进一步的研究方向。

最近在这个领域，其他相关的研究包括： 1. 'Mitigating Hallucinations in Large Language Models through Controlled Decoding' - 探讨了通过控制解码过程来减少幻觉的方法。 2. 'Fact-Checking for Language Models: A Survey' - 综述了语言模型事实核查的各种方法和技术。 3. 'Hallucination-Aware Prompt Engineering for Reliable Language Generation' - 研究了如何通过提示工程来减少幻觉。 4. 'Understanding and Controlling Hallucinations in Pre-trained Language Models' - 深入分析了幻觉产生的原因，并提出了一些控制方法。