Exploring Simple Siamese Representation Learning 论文链接：https://arxiv.org/abs/2011.10566 实验证明 SimSiam方法在ImageNet和下游任务上取得了不错的结果，性能优于MoCov2、BYOL和SimCLR等，作者希望这个基准能够激励人们重新思考Siamese架构在无监督表示学习中的作用。作者：陈鑫磊, 何恺明(FAIR)

在无监督的视觉表示学习的各种最新模型中，Siamese网络已成为一种常见的结构。 这些模型在避免某些方案collapsing的某些条件下，可以最大化一幅图像两次增强之间的相似性。在本文中，我们报告了令人惊讶的经验结果，即使用简单的Siamese网络即使不使用以下任何一项也可以学习有意义的表示形式：（i）负样本对，（ii）大批量，（iii）动量编码器。 我们的实验表明，对于损失和结构确实存在collapsing解决方案，但是停止梯度操作在防止崩溃中起着至关重要的作用。 我们提供了关于停止梯度含义的假设，并进一步显示了验证它的概念验证实验。 我们的“ SimSiam”方法在ImageNet和下游任务上取得了竞争性结果。 我们希望这个简单的基准能够激励人们重新思考Siamese架构在无监督表示学习中的作用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除