Variance-Covariance Regularization Improves Representation Learning

J Zhu, R Shwartz-Ziv, Y Chen, Y LeCun
[New York University]

用方差-协方差正则化改善表示学习

要点:

  • 动机：在迁移学习中，关于下游任务的相关特征的信息通常是难以获得的。理想情况下，模型应该捕获一系列可能的特征。然而，如果没有适当的正则化，网络会倾向于特征，这些特征可以最小化训练损失函数，这对下游任务可能会带来问题。
  • 方法：提出一种名为方差-协方差正则化(Variance-Covariance Regularization，VCR)的方法，通过强制学到的网络特征具有大的方差和小的协方差，从而鼓励网络捕获多样化的特征。
  • 优势：VCR方法能够有效地防止网络过度关注降低损失函数的特征，从而提高了模型的泛化能力。此外，该方法还能够有效地防止神经坍缩和信息压缩，从而创建出多样化、信息丰富的特征，使得其性能优于标准训练。


提出一种名为方差-协方差正则化(VCR)的方法，通过强制学到的网络特征具有大的方差和小的协方差，从而鼓励网络捕获多样化的特征，提高了模型的泛化能力。

https://arxiv.org/abs/2306.13292 


图片
图片

内容中包含的图片若涉及版权问题，请及时与我们联系删除