Evaluating the Utility of Conformal Prediction Sets for AI-Advised Image Labeling

随着深度神经网络在高风险领域中更加常见，它们的可解释性不足使得不确定性量化具有挑战性。我们研究了展示符合预测集的效果——一种在无分布不确定性量化中生成有效置信区间的方法——以表达AI辅助决策中的不确定性。通过一项大型在线实验，我们比较了符合预测集与Top-$1$和Top-$k$预测显示在AI辅助图像标记中的效用。我们发现，对于准确性，预测集的效用随任务的难度而变化：对于简单的图像，它们的准确性与Top-$1$和Top-$k$显示相当或稍低，但对于标记分布外（OOD）图像，尤其是在集合大小较小时，预测集在协助人类标记方面表现出色。我们的结果在经验上确定了符合预测集的实际挑战，并提供了如何将其纳入实际决策中的启示。

论文旨在研究如何在高风险领域中使用可解释性较弱的深度神经网络进行不确定性量化，并探究使用符合性预测集来表达AI建议决策中的不确定性的效果。

使用符合性预测集来表达不确定性，从而提高AI建议决策的准确性和可靠性。研究发现，在难度较大的情况下，符合性预测集比Top-1和Top-k预测显示更能协助人类标记OOD图像。

论文通过在线实验比较了符合性预测集和Top-1、Top-k预测显示在AI建议图像标注中的实用性。实验结果指出了符合性预测集的实际挑战，并提供了将其纳入实际决策制定的启示。

近期相关研究包括：《A Survey on Conformal Prediction》、《Conformal Prediction for Reliable Machine Learning with Applications to Medical Imaging》等。