Uncertainty Quantification for Deep Learning

本文提供了深度学习的完整和统计一致的不确定性量化，包括来自以下四个方面的不确定性源：（1）新的输入数据，（2）训练和测试数据，（3）神经网络的权重向量，以及（4）神经网络因为不是完美的预测器而产生的不确定性。我们使用贝叶斯定理和条件概率密度，演示了如何系统地量化每个不确定性源。我们还介绍了一种快速实用的方法，首次将所有误差来源结合起来。为了说明这一点，我们应用了这种新方法来量化云自动转化率的误差，该误差是由一个人工神经网络预测的，该神经网络是通过亚速尔群岛的飞机云探测测量和作为两个时刻二进制模型的随机收集方程式制定的。对于这个具体的例子，来自训练和测试数据的输出不确定性是主要的，其次是输入数据、训练好的神经网络和权重的不确定性。我们讨论了这种方法对机器学习实践的有用性，以及如何通过包含训练数据中的不确定性，使新方法对于超出训练数据集的输入数据不太敏感。

本文旨在提供一种完整且统一的深度学习不确定性量化方法，包括来自新输入数据、训练和测试数据、神经网络权重向量以及神经网络本身的不确定性来源。

通过贝叶斯定理和条件概率密度，系统地量化每个不确定性来源，并提出了一种快速实用的方法来结合所有误差来源。

本文将新方法应用于云自动转化率的误差量化，并讨论了该方法在机器学习实践中的实用性。实验结果表明，本文提出的方法不太受到训练数据集之外的输入数据的影响。

最近在这个领域中，还有一些相关研究，例如“Uncertainty Quantification for Machine Learning 1: Bayesian Neural Networks”和“Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks”。