本文是FAIR的陈鑫磊&何恺明大神在无监督学习领域又一力作，提出了一种非常简单的表达学习机制用于避免表达学习中的“崩溃”问题，从理论与实验角度证实了所提方法的有效性。

孪生网络已成为无监督表达学习领域的通用架构，现有方法通过最大化同一图像的两者增广的相似性使其避免“崩溃解(collapsing solutions)”问题。

在这篇研究中，作者提出一种惊人的实证结果：Simple Siamese(SimSiam)网络甚至可以在无（(1) negative sample pairs；(2)large batch；(3)momentum encoders）的情形下学习有意义的特征表达。

作者通过实验表明：对于损失与结构而言，“崩溃解”确实存在，但是“stop-gradient”操作对于避免“崩溃解”有非常重要的作用。

作者提出了一种新颖的“stop-gradient”思想并通过实验对其进行了验证，该文所提SimSiam在ImageNet及下游任务上均取得了有竞争力的结果。

作者期望：这个简单的基准方案可以驱动更多研员重新思考无监督表达学习中的孪生结构。

论文地址：https://arxiv.org/abs/2011.10566

内容中包含的图片若涉及版权问题，请及时与我们联系删除