Uncertainties of Latent Representations in Computer Vision

不确定性量化是可信机器学习的关键支柱，它可以在不安全的输入下进行安全反应，例如只有在机器学习模型检测到足够的证据时才进行预测、丢弃异常数据或在错误可能发生时发出警告。这在医学图像分类或自动驾驶汽车等安全关键领域尤为重要。尽管提出了大量的不确定性量化方法，并在性能基准上取得了越来越高的分数，但在实践中往往回避不确定性估计。许多机器学习项目都是从预训练的潜在表示开始的，这些表示没有不确定性估计。从根本上讲，这些不确定性需要由从业人员自己进行训练，这是非常困难和资源密集的。 本论文通过将不确定性估计添加到预训练计算机视觉模型的潜在表示向量中，使不确定性估计变得容易获得。除了提出基于概率和决策理论的方法，如Monte-Carlo InfoNCE（MCInfoNCE）和损失预测，我们还深入探讨了理论和实证问题。我们展示了这些关于不可观测潜在表示的不可观测不确定性确实是可以证明正确的。我们还提供了一个不确定性感知表示学习（URL）基准，以比较这些不可观测的结果与可观测的基准。最后，我们将我们的发现编译成预训练轻量级表示不确定性的大规模计算机视觉模型，这些模型可以在零样本情况下转移到未知数据集。 我们的研究不仅推进了当前对潜在变量不确定性的理论理解，而且还促进了未来研究人员在内外领域内获得不确定性量化的访问，从而实现简单但可信的机器学习。

论文旨在解决机器学习中的不确定性量化问题，使得机器学习模型能够在不安全的输入下做出安全的反应，并且使得不确定性评估易于访问和使用。

论文的关键思路是将不确定性估计添加到预训练计算机视觉模型的潜在表示向量中，通过概率和决策理论提出了一些方法，如Monte-Carlo InfoNCE（MCInfoNCE）和损失预测，使得这些不可观测的潜在表示的不确定性是可靠的。

论文提供了一个基准测试来比较这些不可观测的不确定性与可观测的基本真相，还展示了这些轻量级表示不确定性在大规模计算机视觉模型上的预训练，可以在零样本情况下转移到未见过的数据集，这些发现不仅推动了当前对潜在变量不确定性的理论理解，而且还使未来的研究人员能够轻松地进行可靠的机器学习。

相关研究包括不确定性估计的其他方法，如贝叶斯神经网络和蒙特卡罗Dropout，以及利用不确定性进行主动学习和数据选择的方法。