On Large Language Models' Hallucination with Regard to Known Facts

大型语言模型在回答事实类问题方面很成功，但也容易产生幻觉。我们从推理动态的角度研究了LLM拥有正确答案知识但仍然会产生幻觉的现象，这是以前研究幻觉未涉及的领域。我们能够通过两个关键思想进行这种分析。首先，我们确定了查询相同三元组知识但结果不同的事实问题。因此，模型在正确和错误输出上的行为差异提示了幻觉发生的模式。其次，为了衡量这种模式，我们利用从残差流到词汇空间的映射。我们揭示了在正确和幻觉情况下，输出令牌概率沿着层的深度的不同动态。在幻觉情况下，输出令牌的信息很少表现出在模型的后期出现的突然增加和一致的优势。利用动态曲线作为特征，我们构建了一个分类器，能够以88\%的准确率检测幻觉性预测。我们的研究揭示了理解LLM在已知事实上产生幻觉的原因，更重要的是，能够准确预测它们何时产生幻觉。

这篇论文试图解决大型语言模型在回答事实类问题时出现幻觉的问题，并通过推理动态的角度进行分析。

通过识别查询相同三元组知识但结果不同的事实性问题，比较模型在正确和错误输出上的行为差异，揭示幻觉发生的模式。利用残差流到词汇空间的映射来衡量模式，揭示正确和幻觉情况下输出令牌概率沿层深度的不同动态。利用动态曲线作为特征，构建了一个分类器，能够以88％的准确率检测幻觉预测。

实验设计了一种新的角度来分析大型语言模型出现幻觉的原因，提出了一种新的分类器来检测幻觉预测。

在这个领域中，最近的相关研究包括：1.《大型语言模型的幻觉：分析与解释》；2.《大型语言模型的幻觉现象及其解释》；3.《基于模型置信度的大型语言模型幻觉检测》等。