如何从有限的样本中学习可迁移的特征表示是小样本学习(Few-Shot Learning)的一个关键挑战。最近,自监督学习作为辅助任务被加入到小样本主任务的学习中,以提高小样本学习的表征能力。然而,传统的自监督学习方法往往依赖于大量的训练样本。在小样本场景中,由于缺乏足够多的样本,这些自监督方法可能学习到一种有偏的表示,从而导致对主任务的错误指导,引起小样本学习的性能下降。 

 

本文提出条件自监督学习(Conditional Self-Supervised Learning,CSS)方法,利用先验知识指导自监督任务的表征学习。具体而言,CSS 利用有标记数据中固有的监督信息,改进自监督学习特征流形,从而减少表示偏差,以挖掘更有效的语义信息。另外,CSS 分别通过监督学习和改进的自监督学习挖掘出更多有意义的信息,并将这些信息整合成一个统一的分布,进一步丰富和拓展了原有的表示方法。大量实验表明,与现有的小样本学习方法相比,本文提出的方法在不进行任何微调的情况下,能够显著提高小样本分类的准确率。

论文链接:

https://www.ijcai.org/proceedings/2021/295

代码链接:

https://github.com/anyuexuan/CSS

 

内容中包含的图片若涉及版权问题,请及时与我们联系删除