Self-Supervised Learning作为深度学习中的独孤九剑，当融汇贯通灵活应用之后，也能打败声名在外的武当太极剑。比如在NLP领域中，每当遇到文本分类的问题，BERT + funetuning的套路来应对，但是也正因为如此大家解决问题的思路出现固化。也正是这个原因，当本菜鸟第一次接触到Self-Supervised Learning这个概念时，就在项目中尝试应用Self-Supervised的SimCLR方法，但是却事与愿违，模型的预测效果并没有显著地提升，反而出现了一丢丢的下降，等厚着脸皮求助大佬后才明白，SimCLR对于模型效果的提升必须基于大Batch Size才会有效果。

而在近期，由 Yann Lecun 等人发表了一篇题为《Decouple Contrastive Learning》的论文，其中仔细分析了SimCLR和其他自监督学习模型所使用的InfoNCE损失函数，仅仅对InfoNCE的表达式进行了一处修改，就大大缓解了InfoNCE对于大Batch Size的需求问题，并在不同规模的Vision Benchmarks上均取得优于SimCLR的结果。

论文链接
https://arxiv.org/abs/2110.06848

内容中包含的图片若涉及版权问题，请及时与我们联系删除