本文介绍了原型对比学习（Prototypical Contrastive Learning，PCL），一种无监督表示学习方法，它解决了目前的实例对比学习的根本局限性。PCL将数据的语义结构隐式地编码到学习的嵌入空间中，避免了网络仅仅依靠低级线索来解决无监督学习任务。具体来说，作者引入原型作为内在变量并以Expectation-Maximization框架的形式来帮助寻找网络参数的最大似然估计。文章迭代执行E-step作为通过聚类找到原型的分布，M-step作为通过对比学习优化网络。此外作者提出了ProtoNCE损失，这是InfoNCE损失的泛化版本，损失函数鼓励网络表征更接近其分配的原型。PCL在多个无监督表示学习数据集上取得了最先进的结果，在低资源转移任务中准确率提高了>10%。

内容中包含的图片若涉及版权问题，请及时与我们联系删除