复旦大学 | KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier（微调预训练模型使用KNN分类）

作者： Linyang Li , Demin Song, Ruotian Ma, 等

简介：本文研究在预训练模型的微调中引入KNN分类器的创新。预训练模型广泛用于通过交叉熵损失优化的线性分类器对下游任务进行微调，这可能会面临鲁棒性和稳定性问题。这些问题可以通过学习表示在进行预测时关注同一类中的相似性和不同类中的矛盾来改善。在本文中，作者在预训练模型微调中利用 K-NN分类器。对于这个 KNN 分类器，作者引入了监督动量对比学习框架来学习监督下游任务的聚类表示。对文本分类任务和稳健性测试的大量实验表明，通过将 KNN 与传统的微调过程相结合，作者可以在丰富源和少量样本设置中获得干净准确度的显着改进，并且可以提高对抗对抗性攻击的鲁棒性。所有代码已开源在 https://github.com/LinyangLee/KNN-BERT 。

论文下载：https://arxiv.org/pdf/2110.02523.pdf

HUB地址：https://hub.baai.ac.cn/view/10719

内容中包含的图片若涉及版权问题，请及时与我们联系删除