Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models

幻觉通常被认为是使用大型语言模型（LLMs）的主要障碍，尤其是对于知识密集型任务而言。即使训练语料库仅包含真实陈述，语言模型仍会生成多个事实的混合形式幻觉。我们将这种现象称为“知识掩盖”：当我们使用多个条件从语言模型中查询知识时，某些条件会掩盖其他条件，导致产生幻觉输出。这种现象部分源于训练数据不平衡，我们在预训练模型和微调模型上进行验证，在LM模型家族和大小的广泛范围内都能得到验证。从理论上讲，知识掩盖可以解释为主导条件（模式）的过度泛化。我们表明，幻觉率随着流行条件和不流行条件之间的不平衡比率以及主导条件描述的长度增加而增加，这与我们推导的泛化界限一致。最后，我们提出利用掩盖条件作为信号，在产生幻觉之前捕获幻觉，以及一种无需训练的自对比解码方法来缓解推理过程中的幻觉。我们提出的方法在不同的模型和数据集上展示了高达82%的幻觉预测F1和11.2%到39.4%的幻觉控制。

论文旨在解决语言模型中存在的知识遮蔽现象，即在查询多个条件的知识时，一些条件会被其他条件所掩盖，导致模型产生幻觉。这是否是一个新问题？

论文提出了利用遮蔽条件作为信号来预测幻觉，并提出了一种无需训练的自对比解码方法来减轻幻觉。这种方法在多个模型和数据集上获得了显著的效果。

论文验证了训练数据不平衡是导致知识遮蔽现象的部分原因，并提出了一种新的解决方案。作者在多个模型和数据集上进行了实验，并展示了他们的方法在预测幻觉和幻觉控制方面的高效性。论文还提供了开源代码。

在这个领域中，最近的相关研究包括《GPT-3》、《BERT》等大型语言模型的研究，以及《Attention is All You Need》等自注意力模型的研究。