马里兰大学巴尔的摩分校 | MSF：自监督学习的均值偏移

论文标题：Mean Shift for Self-Supervised Learning

论文链接：https://arxiv.org/abs/2105.07269

代码链接：https://github.com/UMBCvision/MSF

作者单位：马里兰大学巴尔的摩分校

本文提出一种简单且高效的自监督学习新方法：MSF（effective mean-shift），表现SOTA！性能优于BYOL、MoCo v2和SimSiam等方法，代码现已开源！

大多数最新的自监督学习（SSL）算法通过在图像实例之间进行对比或对图像进行聚类，然后在图像群集之间进行对比来学习特征。 我们引入了一种简单的均值漂移（mean-shift）算法，该算法通过将图像分组在一起而无需在图像之间进行对比或在聚类结构上采用大量先验知识来学习表示。 我们只是简单地“移动”每个图像的嵌入，使其接近其相邻的“均值”。 由于在我们的设置中，最接近的相邻始终是同一图像的另一种扩充，因此当仅使用一个最接近的相邻而不是实验中使用的5个相邻时，我们的模型将与BYOL相同。 我们的模型在ResNet50上以200个时代的表现优于BYOL，在ImageNet线性评估上达到了72.4％。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除