Onboard Out-of-Calibration Detection of Deep Learning Models using Conformal Prediction

深度学习模型的黑盒特性使它们在遥感等关键应用中的使用变得复杂。符合预测是一种确保在这种情况下信任的方法。在数据可交换的情况下，符合预测提供了一个预测集，该集保证包含真实类别，并且在用户定义的误差率内提供有限的样本覆盖保证。在这封信中，我们展示了符合预测算法与深度学习模型的不确定性相关，并且这种关系可以用来检测深度学习模型是否未校准。将Resnet50、Densenet161、InceptionV3和MobileNetV2等流行的分类模型应用于遥感数据集（如EuroSAT），以展示在噪声情况下模型输出变得不可信的情况。此外，还介绍了一种与模型不确定性和符合预测集的平均大小相关的未校准检测程序。

如何使用Conformal Prediction方法来检测深度学习模型的不确定性和失准问题，特别是在遥感数据处理中的应用？

使用Conformal Prediction方法检测深度学习模型的不确定性和失准问题，通过计算置信区间来确定预测结果的可靠性。

论文使用Resnet50、Densenet161、InceptionV3和MobileNetV2等流行的分类模型在EuroSAT等遥感数据集上进行实验，证明了在噪声环境下模型输出变得不可信的情况。论文提出了一种检测深度学习模型失准的方法，该方法通过计算置信区间的平均大小来确定模型的不确定性。

相关的研究包括：1.《Conformalized Quantile Regression》；2.《Conformal Prediction for Deep Learning: Predicting If a Deep Learning Classifier Has Been Properly Calibrated》；3.《Conformalized Coverage for Neural Networks》等。