【论文标题】Propagate Yourself: Exploring Pixel-Level Consistency for Unsupervised Visual Representation Learning 【作者团队】Zhenda Xie，Yutong Lin， Zheng Zhang，Yue Cao，Stephen Lin，Han Hu 【发表时间】2020/11/19 【论文链接】https://arxiv.org/abs/2011.10043
【推荐理由】 本文出自清华大学、西安交通大学、微软亚洲研究院联合团队，作者首次引入了像素级的前置任务来学习密集的特征表征，为无监督视觉表征学习开辟了一个新的研究方向。
近年来，对比学习方法在无监督视觉表征学习方面取得了显著的迁移性能。本文作者认为，对比学习的力量还没有得以完全开发。这是因为，目前的对比学习方法大多都是建立在实例级别的前置任务的基础上，这会导致得到的表征对于下游的需要密集像素预测的任务来说并不是最优的。在本文中，作者引入了像素级的前置任务来学习密集的特征表征。这是第一种直接在像素级别上应用对比学习的任务。此外，我们还提出了一种「像素-传播」的一致性任务，其效果甚至大大超越了目前最先进的方法。
本文作者发现，像素级的前置任务对常规的主干网络和用于密集的下游任务的头网络都有很好的预训练效果，是对实例级对比方法的补充。本文的实验结果证明了在像素层面上定义前置任务的强大潜力，并为无监督视觉表征学习提出了一条新的途径。
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢