A Structured Review of Literature on Uncertainty in Machine Learning & Deep Learning

机器学习在我们日常生活中的应用和使用引发了透明度、隐私、可靠性等方面的担忧。因此，我们看到在解释性、因果关系、偏见和公平性以及可靠性等领域进行了研究。在这篇综述文章中，我们关注了机器学习在风险敏感应用中适应的一个关键问题，即理解和量化不确定性。我们以结构化的方式处理这个问题，提供了对机器学习过程中不确定性各个方面的文献综述。我们首先定义了不确定性及其类别（例如，aleatoric和epistemic），理解了不确定性的来源（例如，数据和模型），以及如何通过不确定性量化技术（Ensembles、Bayesian神经网络等）来评估不确定性。作为我们评估和理解机器学习领域不确定性的一部分，我们涵盖了单个样本的不确定性量化指标、数据集的不确定性量化指标以及不确定性估计本身准确性的指标。接下来，我们讨论了校准（模型和不确定性）和在不确定性下进行决策。因此，我们提供了更全面的不确定性处理方法：从不确定性的来源到决策过程。我们将不确定性量化方法的综述重点放在了深度学习（DL）上，同时为机器学习领域内的不确定性讨论提供了必要的背景。这个综述的关键贡献是扩大了不确定性讨论的范围，以及对DL中不确定性量化方法的最新综述。

论文旨在解决机器学习中的不确定性问题，特别是在风险敏感应用中的应用。

论文提供了一个结构化的方法来理解和量化不确定性，并综述了不确定性的各个方面，包括定义、分类、来源、评估、度量和决策等。

论文着重讨论了深度学习领域的不确定性量化方法，并提供了实验结果和开源代码。值得关注的是，论文拓宽了不确定性讨论的范围，同时对深度学习领域的不确定性量化方法进行了更新的综述。

近期的相关研究包括《A survey on Bayesian deep learning》、《Probabilistic deep learning》等。