作者：Samujjwal Ghosh, Subhadeep Maji,等

简介：本文介绍了用于文本分类的对比预训练技术。但是，通常可以使用来自与当前任务共享标签语义的相关任务的标记数据。作者假设有效地使用这些标记数据可以更好地概括当前任务。在本文中，作者提出了一种通过基于图的监督对比学习方法有效利用来自相关任务的标记数据的新方法。作者通过将监督信息从示例外推到令牌来制定令牌图。作者的公式产生了一个嵌入空间，其中属于同一类的高/低概率标记彼此靠近/远离。作者还提出了详细的理论见解、以作为本研究方法的驱动。基于作者采用的数据集，实验表明：作者的方法优于预训练方案 2.5 % 、并且基于示例级对比学习的公式提升约 1.8 %。此外，在零样本场景中实验表明跨域有效性平均提升3.91%。最后，作者还证明了该方法可以用作知识蒸馏设置中的噪声教师模型、约平均提升4.57% 。

 

论文下载：https://arxiv.org/pdf/2112.11389.pdf

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除