The Penalized Inverse Probability Measure for Conformal Classification

在现实世界的应用中，部署安全可靠的机器学习系统，特别是复杂的黑盒神经网络，需要对其性能进行可靠和认证的保证。符合性预测框架通过将任何点转换为具有有效有限集保证的预测器，为其提供了这样的正式保证，以在所选置信水平下对真实覆盖率进行保证。这种方法的核心是非一致性得分函数的概念，它为每个示例分配了与先前观察到的数据相比的“奇异性”度量。虽然覆盖率保证不受非一致性度量、点预测器和数据集的影响，但以往的研究表明，符合性模型的性能（平均预测集大小和单例预测集的比例）受到非一致性得分函数的选择的影响。本文介绍了惩罚逆概率（PIP）非一致性得分及其正则化版本RePIP，其允许同时优化效率和信息性。通过玩具示例和农业机器人中作物和杂草图像分类任务的实证结果，本文展示了基于PIP的符合性分类器与其他非一致性度量相比表现出所需的行为，并在信息性和效率之间取得良好的平衡。

论文旨在解决在实际应用中部署安全可靠的机器学习系统，特别是复杂的黑盒神经网络，需要对其性能进行可靠和认证的保证的问题。

论文提出了Penalized Inverse Probability (PIP) nonconformity score和其正则化版本RePIP，通过联合优化效率和信息量，实现了精确的预测和有效的保证。

论文通过实验展示了PIP-based conformal classifiers相比其他nonconformity measures具有更好的效率和信息量平衡，并在农业机器人中的作物和杂草图像分类任务中进行了验证。

在相关研究方面，最近的研究包括但不限于：1. Conformal Prediction with Deep Learning Models; 2. Efficient and accurate conformal prediction with calibration; 3. Nonconformity measures for conformal prediction: A review and comparative study.