GROD: Enhancing Generalization of Transformer with Out-of-Distribution Detection

Transformer网络在自然语言处理（NLP）和计算机视觉（CV）任务中表现出色。然而，它们在泛化到分布与训练数据不同的Out-of-Distribution（OOD）数据集方面面临挑战。OOD检测旨在区分偏离预期分布的数据，同时在内部分布（ID）数据上保持最佳性能。本文提出了一种基于OOD检测的新方法，称为Generate Rounded OOD Data（GROD）算法，显著增强了Transformer网络在各种任务中的泛化性能。GROD受到我们新的Transformer OOD检测Probably Approximately Correct（PAC）Theory的启发。Transformer具有关于OOD检测的可学性，即当数据充足时，离群值可以很好地表示。通过在损失函数中惩罚OOD数据的误分类并生成合成的离群值，GROD保证了可学性并细化了内部者和外部者之间的决策边界。这种策略表现出了对不同数据类型的鲁棒适应性和普适性。在NLP和CV中的各种OOD检测任务中进行评估，GROD实现了SOTA，无论数据格式如何。平均而言，它将SOTA FPR@95从21.97％降至0.12％，并将AUROC从93.62％提高至99.98％，在图像分类任务中，将SOTA FPR@95降低了12.89％，AUROC提高了2.27％，用于检测语义文本离群值。该代码可在https://anonymous.4open.science/r/GROD-OOD-Detection-with-transformers-B70F上获得。

本文旨在解决transformer网络在面对Out-of-Distribution（OOD）数据集时的泛化问题，提出了一种基于OOD检测的算法GROD，旨在通过惩罚误分类和生成合成异常值来优化transformer网络的决策边界，从而提高其泛化性能。

GROD算法通过在损失函数中惩罚OOD数据的误分类和生成合成异常值来优化transformer网络的决策边界，从而提高其泛化性能，该算法基于PAC理论，证明了transformer网络具有在OOD检测方面的可学习性。

本文提出的GROD算法在NLP和CV领域的各种OOD检测任务中均取得了SOTA结果，平均将SOTA FPR@95从21.97%降低到0.12%，并将AUROC从93.62%提高到99.98%。该算法在不同数据类型上都表现出了鲁棒的适应性和普适性，代码已开源。

最近在这个领域中，还有一些相关的研究，如ODIN、Mahalanobis Detector等。