MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck

自监督学习旨在学习能够有效推广到下游任务的表示。许多自监督方法将图像的两个视图都视为输入和自监督信号，假设每个视图都包含相同的任务相关信息，并且共享信息足以（近似地）用于预测下游任务。最近的研究表明，丢弃两个视图之间不共享的多余信息可以提高泛化性能。因此，理想的表示既足以支持下游任务，又包含最少的多余信息，被称为最小充分表示。可以通过最大化表示和受监督视图之间的互信息，同时消除多余信息来学习此表示。然而，互信息的计算是非常棘手的。在这项工作中，我们提出了一个称为多视角熵瓶颈（MVEB）的目标，以有效地学习最小充分表示。MVEB将最小充分学习简化为最大化两个视图的嵌入之间的一致性和嵌入分布的差分熵。我们的实验证实，MVEB显著提高了性能。例如，它在使用vanilla ResNet-50骨干的线性评估中在ImageNet上实现了76.9％的top-1准确率。据我们所知，这是使用ResNet-50的新的最先进结果。

本文旨在学习最小充分表示，以提高自监督学习的泛化能力。同时，解决互信息计算困难的问题。

本文提出了一种名为多视图熵瓶颈（MVEB）的目标函数，通过最大化两个视图嵌入之间的一致性和嵌入分布的差异熵来学习最小充分表示。

实验结果表明，MVEB显著提高了性能，使用ResNet-50在ImageNet上实现了76.9％的top-1准确率。该论文提供了开源代码。

相关工作包括对自监督学习的各种改进，如对比学习、生成对抗网络等。