早在2018年底，FAIR的研究人员就发布了一篇名为《Rethinking ImageNet Pre-training》的论文 ，这篇论文随后发表在ICCV2019。该论文提出了一些关于预训练的非常有趣的结论。

近期，谷歌大脑的研究团队对这个概念进行了扩展，在新论文《Rethinking Pre-training and Self-training》中，不仅讨论了预训练，还研究了自训练，比较了在同一组任务当中自训练与监督预训练、自监督预训练之间的差异。

论文地址：https://arxiv.org/abs/2006.06882 作者通过实验得出了以下结论： 1、如果预训练任务和目标任务存在差异，则预训练（包括监督和自监督）可能损害目标任务准确率； 2、自训练适用不同规模数据集和不同强度增强数据的训练； 3、自训练并且可以看作对预训练的补充，联合预训练和自训练可以获得更大的增益。

内容中包含的图片若涉及版权问题，请及时与我们联系删除