Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities

在大型语言模型中，不确定性量化对于安全和可靠性至关重要。特别是，不确定性可用于通过检测事实上不正确的模型响应（通常称为幻觉）来提高LLM的可信度。关键是，应该寻求捕捉模型的语义不确定性，即LLM输出含义的不确定性，而不是不影响答案正确性的词汇或句法变化的不确定性。为了解决这个问题，我们提出了一种新的方法——核语言熵（KLE），用于白盒和黑盒LLM的不确定性估计。KLE定义了正半定单位迹核来编码LLM输出的语义相似性，并使用von Neumann熵量化不确定性。它考虑答案（或语义聚类）之间的成对语义依赖关系，提供比以往基于答案硬聚类的方法更精细的不确定性估计。我们在理论上证明了KLE推广了先前的最先进方法，称为语义熵，并在多个自然语言生成数据集和LLM架构上经验证明它提高了不确定性量化性能。

该论文旨在解决大型语言模型（LLMs）中的不确定性量化问题，以提高LLMs的可靠性和安全性。具体来说，该论文提出了Kernel Language Entropy（KLE）方法，用于量化LLMs的语义不确定性，以检测模型输出的错误答案。

KLE方法使用正半定单位迹核来编码LLMs输出的语义相似性，并使用von Neumann熵量化不确定性。它考虑答案之间的语义依赖关系，提供比基于硬聚类的先前方法更细粒度的不确定性估计。

该论文在多个自然语言生成数据集和LLMs架构上进行了实证研究，证明了KLE方法在提高不确定性量化性能方面的优越性。此外，该论文还理论上证明了KLE方法是先前最先进的语义熵方法的推广。

最近在这个领域中，还有一些相关研究，例如“Semantic Entropy”等。