Energy-based Hopfield Boosting for Out-of-Distribution Detection

Out-of-distribution（OOD）检测在实际应用机器学习模型时至关重要。与没有高级训练策略的方法相比，将辅助异常数据纳入训练过程中的异常值暴露方法可以大大提高OOD检测性能。我们介绍了Hopfield Boosting，一种提升方法，它利用现代Hopfield能量（MHE）来加强在分布和OOD数据之间的决策边界。Hopfield Boosting鼓励模型集中于那些接近分布和辅助异常数据之间的决策边界的难以区分的辅助异常示例。我们的方法在异常值暴露的OOD检测方面实现了新的最佳表现，将CIFAR-10的FPR95指标从2.28提高到0.92，将CIFAR-100的FPR95指标从11.76提高到7.94。

解决问题：本论文旨在提高机器学习模型在现实世界中检测Out-of-distribution（OOD）数据的能力。通过引入辅助异常数据的异常曝光方法，可以显著提高OOD检测性能。

关键思路：本文提出了一种基于现代Hopfield能量（MHE）的boosting方法，称为Hopfield Boosting，以加强模型对于标准数据和OOD数据之间的决策边界。该方法鼓励模型集中于难以区分的辅助异常示例，这些示例位于标准数据和辅助异常数据之间的决策边界附近。

其他亮点：本文的方法在CIFAR-10和CIFAR-100数据集上取得了新的OOD检测的最佳性能，将FPR95指标从2.28降至0.92和从11.76降至7.94。该方法的实验设计详细，使用了多个数据集进行评估，并公开了源代码。

相关研究：最近的相关研究包括使用深度学习方法进行OOD检测的各种方法，例如基于置信度的方法和基于生成模型的方法。也有一些研究探讨了使用辅助数据进行训练的方法，例如Mixup和ODIN。