Semantic Density: Uncertainty Quantification in Semantic Space for Large Language Models

随着大型语言模型（LLMs）在各个领域的广泛应用，由于其不可预测的幻觉和生成错误信息的倾向，人们对LLMs在安全关键场景中的可信度提出了担忧。现有的LLMs没有固有的功能为用户提供每个响应的不确定性指标，使得难以评估其可信度。虽然一些工作旨在开发LLMs的不确定性量化方法，但它们存在基本限制，如仅限于分类任务、需要额外的训练和数据、仅考虑词汇而不是语义信息以及仅基于提示而非响应。本文提出了一个新的框架来解决这些问题。语义密度从概率分布的角度在语义空间中提取每个响应的不确定性信息。它没有任务类型限制，并且对于新模型和任务是“即插即用”的。在四个自由形式问答基准测试中，对七个最先进的LLMs，包括最新的Llama 3和Mixtral-8x22B模型进行的实验表明，与先前的方法相比，语义密度具有卓越的性能和稳健性。

如何解决当前大型语言模型在安全关键场景下的不可靠性问题，特别是其倾向于产生幻觉和错误信息的问题？如何提供每个响应的不确定度度量？

提出一种新的框架，称为语义密度，从概率分布的角度在语义空间中提取每个响应的不确定度信息。该方法不限于分类任务，对于新模型和任务是“即插即用”的，且相比之前的方法具有更好的性能和鲁棒性。

实验使用了七个最先进的大型语言模型，包括最新的Llama 3和Mixtral-8x22B模型，在四个自由形式问答基准测试中展示了语义密度的卓越性能和鲁棒性。该方法不需要额外的训练和数据，可以提供每个响应的不确定度信息，有助于提高大型语言模型在安全关键场景下的可靠性。

最近的相关研究包括使用贝叶斯方法和蒙特卡罗方法进行不确定度估计，以及使用基于规则的方法进行不确定度建模。