Semantic Density: Uncertainty Quantification in Semantic Space for Large Language Models

随着大型语言模型（LLMs）在各个领域的广泛应用，由于其不可预测的产生幻觉和误导信息的倾向，人们对LLMs在安全关键场景中的可信度提出了担忧。现有的LLMs没有固有的功能，可以为用户提供每个响应的不确定性度量，这使得评估可信度变得困难。尽管一些工作旨在为LLMs开发不确定性量化方法，但它们具有根本性的限制，如仅限于分类任务，需要额外的训练和数据，仅考虑词汇而不是语义信息，以及仅针对提示而不是响应。本文提出了一个新的框架来解决这些问题。语义密度从概率分布的角度在语义空间中提取每个响应的不确定性信息。它没有任务类型的限制，并且对于新模型和任务是“即插即用”的。在四个自由形式问答基准测试中，对七个最先进的LLMs进行实验，包括最新的Llama 3和Mixtral-8x22B模型，证明了语义密度相比先前方法具有更优越的性能和鲁棒性。

论文旨在解决当前大型语言模型在安全关键场景中不可信的问题，提出一种新的框架来提取每个回答的不确定性信息。

论文提出了一种基于语义空间概率分布的语义密度方法，可以从概率分布的角度提取每个回答的不确定性信息，无需限制任务类型，也不需要额外的训练和数据。

论文在四个自由形式问答基准测试中对七个最先进的大型语言模型进行了实验，包括最新的Llama 3和Mixtral-8x22B模型，展示了语义密度相对于先前方法的优越性能和鲁棒性。

在这个领域中，最近的相关研究包括基于蒙特卡罗Dropout的不确定性估计方法、基于贝叶斯神经网络的不确定性估计方法等。