【论文标题】Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data 【作者团队】Colin Wei, Kendrick Shen, Yining Chen, Tengyu Ma 【发表时间】2021.2.8 【推荐理由】论文收录于ICLR-2021会议，研究人员提出针对半监督学习、无监督领域自适应和无监督学习的深度网络自训练的统一理论分析，实验结果有助于解释使用输入一致性和正则化的自训练算法的有效性。

自训练算法是训练一个模型，以适应由另一个先验学习模型预测的伪标签，对于利用神经网络学习无标记数据十分有效。但是，目前的自训练理论理解仅适用于线性模型。研究人员的分析核心是一个简单又现实的“扩展”假设，即数据的一个低概率子集必须扩展到一个相对于该子集具有大概率的邻域。研究人员还假设不同类别中的实例的领域具有最小的重叠。实验证明，在这些假设下，基于自训练和输入一致性正则化的人口目标最小化算法将获得相对于真值标签的较高精度。

图：扩展假设证明和伪标签假设和设置

内容中包含的图片若涉及版权问题，请及时与我们联系删除