论文名称： Online Bag-of-Visual-Words Generation for Unsupervised Representation Learning 论文链接：https://arxiv.org/abs/2012.11552 代码链接：https://github.com/valeoai/obow 作者单位：Valeo.ai, 克里特大学, 索邦大学 表现SOTA！在分类、检测等任务上，性能优于BYOL、SwAV和MoCo v2等无监督方法，代码刚刚开源！

在没有人工监督的情况下学习图像表示是一个重要而活跃的研究领域。几种最新的方法已经成功地利用了使这种表示在不同类型的摄动下不变的想法，特别是通过基于对比的实例判别训练。尽管有效的视觉表示确实应该表现出这种不变性，但是还有其他重要的特征，例如编码上下文推理技巧，基于此的替代重建方法可能会更适合。考虑到这一点，我们提出了一种teacher-student计划，通过训练卷积网络来重建图像的视觉词袋（BoW）表示来学习表示，该输入是该图像的扰动版本。我们的策略对教师网络（其作用是生成BoW目标）和学生网络（其作用是学习表示）进行在线训练，以及visual-words vocabulary的在线更新（用于BoW）目标）。这个想法有效地实现了完全在线的BoW指导的无监督学习。广泛的实验证明了我们基于BoW的策略的兴趣，该策略在一些应用中超过了以前的最新方法（包括基于对比的方法）。例如，在诸如Pascal对象检测，Pascal分类和Places205分类之类的下游任务中，我们的方法对所有先前的非监督方法进行了改进，从而建立了最新技术，甚至比监督预训练的结果还要好得多。

内容中包含的图片若涉及版权问题，请及时与我们联系删除