Advancing Out-of-Distribution Detection through Data Purification and Dynamic Activation Function Design

在机器学习和深度学习这个动态领域中，模型的健壮性和可靠性至关重要，特别是在关键的实际应用中。这个领域的一个基本挑战是管理Out-of-Distribution (OOD)样本，这会显著增加模型误分类和不确定性的风险。我们的工作通过增强神经网络中OOD样本的检测和管理来应对这个挑战。我们引入OOD-R（Out-of-Distribution-Rectified），这是一个经过精心策划的开源数据集合，具有增强的噪声降低特性。现有OOD数据集中的In-Distribution (ID)噪声可能会导致检测算法的不准确评估。因此，OOD-R采用噪声过滤技术来优化数据集，确保更准确可靠地评估OOD检测算法。这种方法不仅提高了数据的整体质量，还有助于更好地区分OOD和ID样本，从而使模型准确率提高了2.5％，误报率最少降低了3.2％。此外，我们提出了ActFun，这是一种创新的方法，可以微调模型对不同输入的响应，从而提高特征提取的稳定性并减少特异性问题。ActFun通过策略性地减少隐藏单元的影响，增强了模型估计OOD不确定性的能力，从而解决了模型在OOD检测中过度自信的常见问题。在OOD-R数据集中实现ActFun已经导致了显着的性能提升，包括GradNorm方法的AUROC增加了18.42％，Energy方法的FPR95降低了16.93％。总体而言，我们的研究不仅推进了OOD检测的方法，还强调了数据集完整性对于准确算法评估的重要性。

论文旨在提高神经网络中Out-of-Distribution（OOD）样本的检测和管理能力，以提高模型的鲁棒性和可靠性。

通过精心筛选和处理数据集，引入了OOD-R数据集，并使用ActFun方法，提高了模型对不同输入的响应能力，减少模型的过度自信，从而提高了模型的性能。

论文使用了精心筛选和处理的OOD-R数据集，并提出了ActFun方法，通过减少隐藏单元的影响，增强了模型对OOD不确定性的估计能力。实验结果表明，该方法可以提高模型的准确率和降低误报率。论文还提到了其他相关工作和值得深入研究的方向。

近期的相关研究包括：'Learning Confidence for Out-of-Distribution Detection in Neural Networks'，'A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks'，'Outlier Exposure with Confidence Control for Out-of-Distribution Detection'等。