Reliable uncertainty with cheaper neural network ensembles: a case study in industrial parts classification

在运筹学中，预测模型经常会遇到数据分布与训练数据分布不同的场景，即所谓的离分布场景。近年来，由于其在图像分类等领域表现出色，神经网络（NNs）在运筹学中越来越受到关注。然而，当NNs面对离分布数据时，往往会做出自信但不正确的预测。不确定性估计提供了一种解决过于自信模型的方法，可以告知何时应该（不应该）信任输出结果。因此，在运筹学领域中，对NNs进行可靠的不确定性量化至关重要。由多个独立的NNs组成的深度集成已成为一种有前途的方法，不仅提供了强大的预测准确性，而且还提供了可靠的不确定性估计。然而，由于计算需求巨大，它们的部署具有挑战性。最近的基础研究提出了更高效的NNs集成，即快照、批次和多输入多输出集成。本研究是第一篇全面比较单个NN、深度集成和三种高效NNs集成的研究。此外，我们提出了一个多样性质量度量标准，以一个单一的度量标准量化集成在分布内和离分布集合上的表现。运筹学案例讨论了工业零部件分类，以识别和管理备件，这对于工业厂房的及时维护非常重要。结果突出了批次集成作为深度集成的一种具有成本效益且具有竞争力的替代方案。它在不确定性和准确性方面均优于深度集成，同时具有7倍的训练时间加速，8倍的测试时间加速和9倍的内存节省。

本论文旨在解决操作研究中神经网络模型在面对数据分布不同的情况下容易出现过度自信但错误的预测，提出一种可靠的不确定性估计方法。

通过构建多个独立的神经网络集成来提高预测准确性和可靠性，其中包括更高效的快照、批量和多输入多输出集成方法。

本研究提出了一种用于在单个指标中量化集成在分布内和分布外数据集上的性能的多样性质量度量方法。实验结果表明，批量集成是一种性价比高、可靠性和准确性都优于深度集成的方法，训练时间加速了7倍，测试时间加速了8倍，节约了9倍的内存。

与本文相关的研究包括神经网络集成的其他方法，如Bagging和Stacking，以及用于不确定性估计的其他技术，如贝叶斯神经网络和蒙特卡罗dropout。