Can Contrastive Learning Refine Embeddings

最近对比学习的进展已经彻底改变了自监督表示学习并在基准任务上取得了最先进的性能。虽然大多数现有方法专注于将对比学习应用于输入数据模态，例如图像、自然语言句子或网络，但它们忽略了利用先前训练的编码器的输出的潜力。在本文中，我们介绍了SIMSKIP，一种新颖的对比学习框架，专门用于改进下游任务的输入嵌入。与传统的无监督学习方法不同，SIMSKIP利用编码器模型的输出嵌入作为其输入。通过理论分析，我们提供了证据表明，应用SIMSKIP不会导致下游任务错误的上限比其输入的原始嵌入更大。在各种开放数据集上的实验结果表明，SIMSKIP生成的嵌入改善了下游任务的性能。

本文旨在提出一种新的对下游任务输入嵌入进行细化的对比学习框架，以提高下游任务的性能。

SIMSKIP利用之前训练的编码器模型的输出嵌入作为其输入，通过对比学习来细化下游任务输入嵌入。

本文提出的SIMSKIP框架在多个开放数据集上进行了实验，证明其可以提高下游任务的性能。此外，理论分析表明，应用SIMSKIP不会导致下游任务误差的上限比输入误差的上限更大。

最近的相关研究包括MoCo、SimCLR和BYOL等对比学习框架。