Think Twice Before Assure: Confidence Estimation for Large Language Models through Reflection on Multiple Answers

这段摘要介绍了自然语言处理中的大型语言模型（LLM）的置信度评估问题。由于LLM在生成错误答案时存在过度自信的问题，现有的LLM置信度评估方法通常不够准确。针对这个问题，作者提出了一种新的方法，即通过评估多个候选答案的可信度来缓解LLM对错误答案的过度自信。作者提出了一个两步框架，首先要求LLM对每个答案进行反思并提供理由，然后汇总这些理由进行综合置信度评估。该框架可以与现有的置信度评估方法结合使用，以提高准确度。作者在三个任务的六个数据集上进行了实验，结果表明该框架是合理且有效的。

解决问题的问题是如何评估大型语言模型（LLM）的输出可信度，特别是黑匣子模型的可信度评估。现有的LLM可信度评估通常由于LLM对其生成的错误答案过于自信而不校准。现有的解决过度自信问题的方法受到显著限制，因为它们仅考虑LLM生成的一个答案的置信度。本文提出了一种新的范式，全面评估多个候选答案的可信度，以减轻对不正确答案的过度自信。

本文提出了一个两步框架，首先指导LLM反思并为每个答案提供证明，然后汇总证明以进行全面的置信度评估。这个框架可以与现有的置信度评估方法集成，以获得更好的校准。

本文的亮点包括提出了一个全新的范式，全面评估多个候选答案的可信度，以减轻对不正确答案的过度自信。提出了一个两步框架，可以与现有的置信度评估方法集成，以获得更好的校准。在六个数据集上进行了实验，证明了该框架的合理性和有效性。

最近的相关研究包括：1.《On Calibration of Modern Neural Networks》；2.《Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles》；3.《Deep Probabilistic Ensembles: Approximate Bayesian Learning with Deep Neural Networks》等。