近日，谷歌大脑研究科学家、AutoML 鼻祖 Quoc Le 发文表示，他们提出了一种新的半监督学习方法，可以将模型在 ImageNet 上的 top-1 准确率提升到 90.2%，与之前的 SOTA 相比实现了 1.6% 的性能提升。

Quoc Le 介绍称，为了实现这一结果，他们使用了一种名为「元伪标签（Meta Pseudo Label）」的半监督学习方法来训练 EfficientNet-L2。

和伪标签（Pseudo Label）方法类似，元伪标签方法有一个用来在未标注数据上生成伪标签并教授学生网络的教师网络。然而，与教师网络固定的伪标签方法相比，元伪标签方法有一个从学生网络到教师网络的反馈循环，其教师网络可以根据学生网络在标记数据集上的表现进行调整，即教师和学生同时接受训练，并在这一过程中互相教授。

这篇有关元伪标签的论文最早提交于 2020 年 3 月，最近又放出了最新版本。

论文链接：https://arxiv.org/pdf/2003.10580.pdf 代码链接：https://github.com/google-research/google-research/tree/master/metapseudolabels

在新版本中，研究者针对元伪标签方法进行了实验，用 ImageNet 数据集作为标记数据，JFT-300M 作为未标记数据。他们利用元伪标签方法训练了一对 EfficientNet-L2 网络，其中一个作为教师网络，另一个作为学生网络。最终，他们得到的学生模型在 ImageNet ILSVRC 2012 验证集上实现了 90.2% 的 top-1 准确率，比之前的 SOTA 方法提升了 1.6 个百分点（此前 ImageNet 上 top-1 的 SOTA 是由谷歌提出的 EfficientNet-L2-NoisyStudent + SAM（88.6%）和 ViT（88.55%））。

内容中包含的图片若涉及版权问题，请及时与我们联系删除