【论文标题】Self-Supervised Learning with Kernel Dependence Maximization
【作者团队】Yazhe Li, Roman Pogodin, Danica J. Sutherland, Arthur Gretton
【发表时间】2021/06/15
【机 构】伦敦大学
【论文链接】https://arxiv.org/pdf/2106.08320.pdf
【推荐理由】本文出自伦敦大学，在自监督学习问题上，从统计依赖的角度提出了使用希尔伯特-施密特独立准则 (SSL-HSIC) 的自监督学习，大限度地提高了图像转换版本的表示与图像身份之间的依赖关系，同时最大限度地减少了这些特征的核化方差。
本文在自监督学习处理图像表示方面，从统计依赖的角度提出了使用希尔伯特-施密特独立准则 (SSL-HSIC) 的自监督学习。 SSL-HSIC 最大限度地提高了图像转换版本的表示与图像身份之间的依赖关系，同时最大限度地减少了这些特征的核化方差。这种自监督学习框架产生了对 InfoNCE 的新理解，InfoNCE 是不同转换之间互信息 (MI) 的变分下界。虽然已知 MI 本身具有可能导致学习无意义表示的病理，但它的边界表现得更好：我们表明它隐式近似 SSL-HSIC（具有稍微不同的正则化器）。我们的方法还让我们深入了解 BYOL，因为 SSL-HSIC 类似地学习样本的本地邻域。 SSL-HSIC 允许我们直接优化批量大小的时间线性统计相关性，而无需限制性数据假设或间接互信息估计器。 SSL-HSIC 在有或没有目标网络的情况下进行训练，与当前最先进的图像网络标准线性评估、半监督学习和转移到其他分类和视觉任务（如语义分割、深度估计和对象识别）相匹配。
图1 SSL-HSIC架构图