An Information Theoretic Perspective on Conformal Prediction

Conformal Prediction（CP）是一种无分布不确定性估计框架，它构建预测集，保证以用户指定的概率包含真实答案。直观地说，预测集的大小编码了一般的不确定性概念，较大的集合与更高程度的不确定性相关联。在这项工作中，我们利用信息理论将conformal prediction与其他不确定性概念相连接。更具体地说，我们通过将CP与信息理论不等式相结合，证明了三种不同的方法来上界内在不确定性，如给定输入的目标变量的条件熵所描述的。此外，我们展示了这种连接conformal prediction和信息理论的两种直接和有用的应用：（i）更有原则和有效的conformal训练目标，这些目标概括了以前的方法，并使得从头开始对机器学习模型进行端到端训练成为可能，以及（ii）将附加信息自然地纳入conformal prediction的机制。我们在集中式和联邦学习设置中实证验证了这两种应用，展示了我们的理论结果转化为流行的CP方法的低效率（平均预测集大小）。

论文旨在将Conformal Prediction（CP）与信息论相结合，探索如何将CP应用于更广泛的领域，例如机器学习模型的端到端训练和侧面信息的整合。同时，论文还试图证明CP与信息论之间的联系，并提出一种新的方法来估计模型的不确定性。

通过将CP与信息论相结合，论文提出了三种不同的方法来估计模型的不确定性，并将其应用于更广泛的领域。此外，论文还提出了一种更有效的训练目标和一种自然的机制来整合侧面信息。

论文的实验结果表明，论文提出的方法可以有效地减少CP方法的平均预测集大小。论文还提供了开源代码和使用的数据集。此外，论文的方法还可以应用于联合学习等领域。

近年来，CP在机器学习领域中得到了广泛的应用。与此相关的研究包括“Conformalized Quantile Regression”和“Conformalized Kernel Ridge Regression”等。