Bayesian Prediction-Powered Inference

“Prediction-powered inference (PPI)”是一种基于有限人工标注数据改进统计估计的方法。具体而言，PPI方法通过将少量人工标注数据与大量由可能存在偏差但相对准确的自动系统标注的数据相结合，提供更紧密的置信区间。我们提出了一个基于贝叶斯推断的PPI框架，使研究人员能够轻松开发新的任务适用的PPI方法。利用设计新指标的便利性，我们提出了改进后的PPI方法，适用于几个重要情况，例如给出离散响应（例如提示LLM“法官”）的自动评分器和得分与人类得分之间存在非线性关系的自动评分器。

本论文旨在提出一种基于贝叶斯推断的预测增强推理（PPI）框架，以改善基于有限人工标注数据的统计估计。

通过将少量人工标注数据与大量由自动系统标注的数据结合使用，提供更紧密的置信区间。

论文提出了针对不同情况的改进PPI方法，如具有非线性关系的自动评分和给出离散响应的自动评分器。

最近的相关研究包括使用深度学习进行标注的半监督学习方法，以及使用人工标注数据进行模型训练的传统监督学习方法。