Semantic Entropy Probes: Robust and Cheap Hallucination Detection in LLMs

我们提出了语义熵探针(SEPs)，这是一种廉价且可靠的方法，用于大型语言模型(LLMs)的不确定性量化。幻觉是指合理但事实不正确和任意的模型生成，这对LLMs的实际应用构成了重大挑战。Farquhar等人(2024年)最近的工作提出了语义熵(SE)，它可以通过估计一组模型生成的语义含义空间中的不确定性来检测幻觉。然而，与SE计算相关的计算成本增加了5到10倍，这阻碍了实际应用。为了解决这个问题，我们提出了SEPs，它们直接从单个生成的隐藏状态近似计算SE。SEPs易于训练，在测试时不需要对多个模型生成进行采样，将语义不确定性量化的开销几乎降至零。我们证明，SEPs保留了高性能的幻觉检测能力，并且比直接预测模型准确性的先前探测方法更好地推广到分布外数据。我们在不同模型和任务上的结果表明，模型的隐藏状态捕捉了SE，我们的消融研究进一步揭示了这种情况的令牌位置和模型层。

本文旨在解决大型语言模型中存在的幻觉问题，提出了一种称为语义熵探针（SEPs）的方法，以便对语义不确定性进行量化。

本文提出了一种简单的方法SEPs，可以直接从单个生成模型的隐藏状态中近似估算语义熵（SE），避免了计算SE的高代价，同时保持了高效的幻觉检测表现。

实验结果表明，SEPs可以有效地检测幻觉，并且在推广到超出分布的数据方面表现更好。此外，本文还通过消融实验探讨了哪些令牌位置和模型层次对于捕捉语义熵是有效的。

最近的相关研究包括Farquhar等人的语义熵（SE）方法，以及直接预测模型准确性的先前探测方法。