标题：德州农工大学、德州大学奥斯汀分校|Self-Damaging Contrastive Learning（自毁对比学习）

简介：最近通过对比取得的突破学习加快了在现实世界数据应用程序上部署无监督训练的步伐。

然而，现实中未标记的数据通常是不平衡且长尾分布的，和目前尚不清楚最新的对比学习方法在实践场景中发挥的作用。本文提出明确解决这个挑战，通过一个名为自毁对比学习（SDCLR），在不知道类别的情况下自动平衡表示学习。我们的主要灵感来自最近的模型具有难以记忆的样本的现象，并且那些可能会通过网络修剪暴露。更自然地假设长尾样本也由于示例不足，使得模型难以学习得很好。因此，SDCLR 的关键创新是创建一个动态的自我竞争模型与目标模型形成对比，这是一个修剪过的后者版本。在训练中，对比这两种模型将导致自适应在线挖掘当前目标模型最容易遗忘的样本，并隐含地强调它们更多在对比损失。跨多个数据集和不平衡设定的大量实验表明，SDCLR 显着提高了整体准确度和平衡性。