图像级对比表征学习已经被证明是处理迁移学习问题一种非常有效的通用模式，但如果我们对某一特定的下游任务感兴趣，这种对于迁移学习的通用性就牺牲了特殊性。本文提出了自监督[1]的上下游任务应该对齐的原则，认为不对齐是一种次优的方式。

本文遵循这一设计原则专门为目标检测任务设计了一种预训练方法，通过三个方面来实现目标检测上下游任务的对齐：

1）通过selective search bounding boxes方法获得的候选目标来实现目标级表征学习；

2）预训练的网络结构中包含目标检测所使用的相同的专用模块，如FPN；

3）所提预训练方法具备目标检测所需的属性，如目标级平移不变性和尺度不变性。

本文将所提方法命名为SoCo(Selective Object COntrastive learning)，使用Mask R-CNN框架在COCO检测任务上取得了SOTA的迁移表现。

journal: NeurIPS 2021 Spotlight

paper:

https://arxiv.org/abs/2106.02637

code:

https://github.com/hologerry/SoCo

SoCo是一种新的对比学习方法，该方法致力于最大化同一目标不同扩增后的目标级特征表示的相似性。同时在设计目标级上游任务时，本文将结构对齐和目标检测的重要属性引入到预训练中。本文在R50-FPN为主干的Mask-RCNN上执行转移学习来阐明SoCo核心设计原则，同时应用于R50-C4结构进一步证明了该方法的可扩展性和灵活性。

上图是SoCo概览。SoCo为每一幅原始图像用selective search方式生成object proposals集，在每一步训练中随机选择 个proposals，为同一目标构建三个位置和尺度不同的视角 ，采用FPN主干网络和RoIAlign分别编码图像级特征和抽取目标级特征，Object proposals根据它们的图像面积被安排到不同的金字塔层级，在目标级别来执行对比学从而学习目标检测的平移不变性和尺度不变性，目标网络通过在线网络的指数移动平均（EMA）进行更新。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除