来自清华大学、商汤科技等机构的研究者们提出一种简洁而有效的梯度形式——UniGrad，不需要复杂的 memory bank 或者 predictor 网络设计，也能给出 SOTA 的性能表现。

来自清华大学、商汤科技等机构的研究者们提出一个统一的框架来解释这些方法。相较于直接去比较它们的损失函数，他们从梯度分析的角度出发，发现这些方法都具有非常相似的梯度结构，这个梯度由三部分组成：正梯度、负梯度和一个平衡系数。其中，正负梯度的作用和对比学习中的正负样本非常相似，这表明之前提到的三类方法的工作机理其实大同小异。更进一步，由于梯度的具体形式存在差异，研究者通过详细的对比实验分析了它们带来的影响。结果表明，梯度的具体形式对性能的影响非常小，而关键因素在于 momentum encoder 的使用。

论文链接：https://arxiv.org/pdf/2112.05141.pdf

图 1 三类自监督方法与 UniGrad 的对比

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除