CALICO: Confident Active Learning with Integrated Calibration

深度学习在安全关键应用中的应用越来越广泛，例如医学成像，这引发了人们对有限标记数据的担忧，特别是随着模型复杂度的增加，这种需求变得更加强烈，给领域专家注释数据带来了困难。为了解决这个问题，主动学习（AL）被用来以较低的标注成本有效地训练模型。在深度神经网络（DNNs）的背景下，AL通常使用置信度或概率输出作为选择最有信息量样本的得分。然而，现代DNNs的置信度输出不可靠，因此校准至关重要。我们提出了一种AL框架，可以在训练过程中自我校准用于样本选择的置信度，称为具有集成校准的自信主动学习（CALICO）。CALICO采用分类器和基于能量的模型的联合训练，而不是标准的基于softmax的分类器。这种方法允许在训练过程中同时估计输入数据分布和类概率，从而提高校准性，而无需额外的标记数据集。实验结果展示了相对于具有较少标记样本的softmax分类器，分类性能得到了改善。此外，观察到模型的校准稳定性取决于数据的先验类分布。

该论文旨在解决在安全关键应用中使用深度学习时标记数据有限的问题，并提出了一种主动学习框架来有效地训练模型。

CALICO是一种主动学习框架，它通过联合训练分类器和基于能量的模型来自校准置信度，从而提高了模型的分类性能。

该论文的实验结果表明，CALICO相对于基于softmax的分类器使用更少的标记样本可以获得更好的分类性能，而且无需使用附加的标记数据集即可提高校准性。此外，研究还观察到模型的校准稳定性取决于数据的先验类分布。

最近的相关研究包括使用主动学习来解决有限标记数据的问题，以及使用基于能量的模型来提高深度学习模型的校准性。其中，一些相关论文包括“Deep Active Learning for Biomedical Image Segmentation by Capturing Uncertainty in a Sparse Annotated Dataset”和“Energy-based Models for Deep Probabilistic Regression”。