预训练-微调已经成为自然语言理解领域的标准范式，而微调后的预训练模型对不同类型的分布外（OOD）样本的检测能力尚缺乏全面的探究分析。来自北京大学的研究者深入分析了现有方法对语义迁移（Semantic Shift，简称 SS）类型的分布外样本与非语义迁移（Non-Semantic Shift，简称 NSS，又名背景迁移）类型的分布外样本的检测表现，发现在模型微调前后存在有趣的 trade-off： 
在预训练特征上构建的检测器在 NSS 类型的 OOD 数据上表现最好，而模型微调后，检测器在 NSS 类型的 OOD 数据上的表现显著下降，在 SS 类型的 OOD 数据上的表现显著上升并达到现有方法中的最优。
也就是说，没有单一方法在两种类型的分布外样本上都能取得最佳的检测表现，根据作者的分析，微调破坏了与类别标签无关的通用特征，从而导致 NSS 类型 OOD 样本的检测性能下降。
基于以上实验观察与分析，作者提出一种简单有效的通用分布外检测指标 GNOME，它集成了从预训练特征与微调后模型特征计算出的距离分数，在 NSS 与 SS 两类 OOD 数据上都能取得接近 SOTA 的性能（因此在平均意义上最佳），并且在 OOD 数据兼具两类分布迁移的基准数据集上取得了最佳表现。日前，该论文被 EACL 2023 (Findings) 录用。

 

图片

论文标题：

Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection by Distorting Task-Agnostic Features

论文链接：

https://arxiv.org/pdf/2301.12715.pdf

收录会议：

EACL 2023 (Findings)

内容中包含的图片若涉及版权问题，请及时与我们联系删除