论文标题：Dense Contrastive Learning for Self-Supervised Visual Pre-Training 论文链接：https://arxiv.org/abs/2011.09157 代码链接：https://github.com/WXinlong/DenseCL 作者单位：阿德莱德大学(沈春华团队) & 同济大学 & 字节跳动AI Lab 本文提出一种像素级的自监督学习方法，表现SOTA！在目标检测，语义分割和实例分割任务上大大优于MoCov2，代码于3小时前刚刚开源！

迄今为止，大多数现有的自监督学习方法都是针对图像分类进行设计和优化的。由于图像级预测和像素级预测之间的差异，这些预训练模型对于密集的预测任务可能不是最佳的。为了填补这一空白，我们旨在设计一种有效，密集的自监督学习方法，该方法通过考虑局部特征之间的对应关系，直接在像素（或局部特征）级别上起作用。我们提出了密集的对比学习，该学习通过在输入图像的两个视图之间的像素水平上优化成对的对比（不相似）损失来实现自监督学习。与基准方法MoCo-v2相比，我们的方法引入了可忽略的计算开销（仅慢了不到1％），但是在转移到下游密集的预测任务（包括目标检测，语义分割和实例分割）时，始终表现出优异的性能；并大大领先于最新方法。具体而言，在强大的MoCo-v2基线上，我们的方法实现了PASCAL VOC对象检测上2.0％AP，COCO目标检测上1.1％AP，COCO实例分割上0.9％AP，PASCAL VOC语义上分割3.0％mIoU和在Cityscapes语义分割上有1.8％的mIoU。

内容中包含的图片若涉及版权问题，请及时与我们联系删除