Language Models with Conformal Factuality Guarantees

保证语言模型（LM）输出的正确性和事实性是一个重大的开放性问题。在这项工作中，我们提出了一种称为符合事实性的框架，可以通过连接语言建模和符合预测来确保LM具有高概率的正确性保证。我们观察到，LM输出的正确性等价于不确定性量化问题，其中不确定性集被定义为LM输出的蕴含集。利用这种联系，我们表明，语言模型中的符合预测对应于一种回退算法，通过逐渐使LM输出变得不太具体（并扩展相关的不确定性集），提供高概率的正确性保证。这种方法适用于任何黑盒LM，并且只需要非常少量的人工标注样本。我们在封闭式问答（FActScore，自然问题）和推理任务（MATH）上对我们的方法进行评估，结果表明，我们的方法可以提供80-90％的正确性保证，同时保留了LM的大部分原始输出。

如何确保语言模型输出的正确性和事实性是一个重要的开放性问题。本文提出了一种名为符合事实性的框架，通过连接语言建模和符合预测，可以确保语言模型的高概率正确性保证。

本文将语言模型输出的正确性等价于不确定性量化问题，利用符合预测的方法来提供高概率的正确性保证。通过逐步使语言模型输出变得不那么具体，从而扩大相关的不确定性集合，来实现这一目标。

本文的方法适用于任何黑盒语言模型，并且只需要很少的人工标注样本。作者在闭卷问答（FActScore、自然问题）和推理任务（MATH）上进行了评估，结果表明该方法可以提供80-90%的正确性保证，同时保留大部分语言模型的原始输出。

最近的相关研究包括使用符合预测来提高深度学习模型的可靠性，如《Conformalized Quantile Regression for Uncertainty Estimation in Deep Learning》。