论文标题：Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 论文链接：https://arxiv.org/abs/2103.02193 代码链接：https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning 作者单位：百度研究院 & 俄勒冈大学 & 澳门大学

本文提出两种正则化方法：AKC和ARC，实验证明AKC和ARC在最新的SSL方法中表现SOTA，优于FixMatch等，且与其他SSL方法结合使用，还可获得更佳的性能！代码刚刚开源！ 尽管最近有关半监督学习的研究显示出在利用标记和未标记数据方面的显著进步，但大多数假设模型的基本设置是随机初始化的。在这项工作中，我们将半监督学习和迁移学习共同考虑，从而导致一种更实用和更具竞争力的范例，该范例可以利用源域中功能强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补组件组成：源模型和目标模型之间的示例上的自适应知识一致性（AKC），以及自适应表示一致性（ARC） ），在目标模型上标记和未标记的示例之间。根据它们对目标任务的潜在贡献，自适应地选择一致性正则化中涉及的示例。通过微调ImageNet预先训练的ResNet-50模型，我们在几个流行的基准上进行了广泛的实验，包括CUB-200-2011，MIT Indoor-67，MURA。结果表明，我们提出的自适应一致性正则化性能优于最新的半监督学习技术，例如伪标签，Mean Teacher和MixMatch。此外，我们的算法与现有方法正交，因此能够在MixMatch和FixMatch之上获得其他改进。

内容中包含的图片若涉及版权问题，请及时与我们联系删除