Rethinking Uncertainty Estimation in Natural Language Generation

大型语言模型（LLMs）在现实世界的应用中越来越广泛，这推动了对其生成文本可信度评估的需求。为此，可靠的不确定性估计是必不可少的。由于当前的大型语言模型通过自回归的随机过程生成文本，相同的提示可能会导致不同的输出结果。因此，领先的不确定性估计方法通过生成和分析多个输出序列来确定大型语言模型的不确定性。然而，生成输出序列在计算上非常昂贵，使得这些方法在大规模应用中不切实际。在这项工作中，我们检查了领先方法的理论基础，并探索了新的方向以提高其计算效率。基于适当的评分规则框架，我们发现最可能输出序列的负对数似然构成了一个有理论依据的不确定性度量。为了近似这一替代度量，我们提出了G-NLL方法，该方法的优势在于仅使用由贪婪解码生成的单个输出序列即可获得。这使得不确定性估计更加高效且简单，同时保持了理论严谨性。实证结果表明，G-NLL在各种大型语言模型和任务中实现了最先进的性能。我们的工作为自然语言生成中的高效可靠不确定性估计奠定了基础，挑战了目前领域内计算复杂的方法的必要性。

该论文旨在解决大型语言模型（LLMs）生成文本时的不确定性估计问题。由于LLMs通过自回归的随机过程生成文本，相同的提示可能会导致不同的输出，因此需要可靠的不确定性估计方法。然而，现有方法通常依赖于生成多个输出序列来进行分析，这在计算上非常昂贵，难以大规模应用。

论文提出了一种基于负对数似然（Negative Log-Likelihood, NLL）的新方法——G-NLL，用于高效且可靠地估计LLM生成文本的不确定性。与传统方法不同，G-NLL只需使用贪心解码生成的单个输出序列，从而大大提高了计算效率，同时保持了理论上的严谨性。

1. 提出了G-NLL方法，仅需单次贪心解码即可获得高精度的不确定性估计。 2. 实验结果表明，G-NLL在多个LLM和任务中达到了最先进的性能。 3. 研究基于适当的评分规则框架，确保了方法的理论基础。 4. 论文挑战了当前领域中依赖多输出序列进行不确定性估计的必要性，为未来的研究提供了新的方向。 5. 虽然论文未明确提及，但类似研究通常会开源代码和数据集以供复现和进一步研究。

近期相关研究包括： 1. 'On Calibration of Modern Neural Networks' - 探讨了神经网络输出概率的校准问题。 2. 'Uncertainty Estimation Using a Single Deep Deterministic Neural Network' - 提出了一种单次推理的不确定性估计方法。 3. 'Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles' - 利用深度集成模型进行不确定性估计。 4. 'Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning' - 将Dropout技术解释为贝叶斯近似，以表示模型的不确定性。