Rethinking Pre-training and Self-training

论文链接：https://arxiv.org/abs/2006.06882 知乎讨论链接：https://www.zhihu.com/question/401621721

在COCO检测上高达54.3% AP！在PASCAL分割上，高达90.5% mIOU！（超越DeepLabV3+，目前排名第一）作者团队：谷歌大脑（刘寒骁和Quoc V. Le等）

预训练是计算机视觉中的主要范式。例如，受监督的ImageNet预训练通常用于初始化目标检测和分割模型的主干。但是，何恺明等人展示了一个令人惊讶的结果，即ImageNet预训练对COCO目标检测的影响有限。在这里，我们研究自训练（self-training），这是在相同setting上利用附加数据并将其与ImageNet预训练进行对比的另一种方法。我们的研究通过以下三点发现揭示了自训练的一般性和灵活性：1）更强大的数据增广和更多标记数据进一步降低了预训练的价值； 2）与预训练不同，使用更强大的自训练总是有帮助的在低数据和高数据两种情况下进行数据增广，以及3）在预训练有帮助的情况下，自训练会在预训练后得到改善。例如，在COCO目标检测数据集上，当我们使用五分之一的标记数据时，预训练会受益，而在使用所有标记的数据时，准确性会受到损害。另一方面，自训练在所有数据集大小上均显示从+ 1.3AP到+ 3.4AP的积极改进。换句话说，自训练可以在与预训练不起作用的相同设置上完全兼容（使用ImageNet帮助COCO）。在PASCAL分割数据集上，该数据集比COCO小得多，尽管预训练确实有很大帮助，但自训练可改善预训练模型。在COCO目标检测方面，我们达到了54.3AP，比最强的SpineNet模型提高了+ 1.5AP。在PASCAL分割上，我们达到了90.5 mIOU，比DeepLabv3 +之前的最新结果提高了1.5％mIOU。

内容中包含的图片若涉及版权问题，请及时与我们联系删除