论文地址：https://arxiv.org/pdf/2207.14476.pdf

开源代码：https://github.com/uitrbn/tscsi_idn

摘要

用含噪标签训练的深度模型容易出现过拟合和泛化困难。现有的大多数解决方案都是基于标签噪声是类条件的理想假设，即同一类的实例共享相同的噪声模型，并且与特征无关。然而，在实际应用中，真实世界的噪声模式通常更细粒度，因为它们依赖于实例，这给噪声模式带来了很大的挑战，尤其是在存在类间不平衡的情况下。本文提出了一种两阶段清洁样品识别方法来解决上述问题。首先，我们使用类级特征聚类过程来早期识别靠近类预测中心的干净样本。值得注意的是，我们通过根据稀有类的预测熵聚合稀有类来解决类不平衡问题。其次，对于接近地面真值类边界的剩余干净样本（通常与带有实例相关噪声的样本混合），我们提出了一种新的基于一致性的分类方法，该方法利用两个分类器头的一致性来识别它们：一致性越高，样本干净的概率越大。在几个具有挑战性的基准上进行的广泛实验证明了我们的方法相对于现有技术的优越性能。

主要贡献

总之，我们的贡献可以概括为：

  • 我们提出了一种深入研究实例相关噪声的方法，并设计了一种针对不平衡和IDN样本检测的类级特征聚类过程。
  • 我们进一步提出通过测量两个独立训练的分类器之间的预测一致性来识别地面真值类边界附近的硬清洁样本，进一步提高清洁分类与噪声分类的准确性。
  • 我们的方法在一些具有挑战性的基准上达到了最先进的性能，并在不同类型的综合IDN中被证明是有效的。

实验

我们遵循DivideMix，使用MixMatch进行半监督学习。对于CIFAR-10和CIFAR-100的实验，我们使用ResNet-34作为下面的特征提取器。我们在CIFAR-10和CIFAR-100的所有3个设置中分别使用了与相似的超参数。我们使用动量为0.9、权衰减参数为0.0005的SGD优化器训练我们的模型。学习速率在前150个历元中被设置为0.02，在随后的150个历元中被降低到0.002。热身周期分别为CIFAR-10和CIFAR-100的10和15个纪元。对于服装1M，我们遵循以前的研究，并使用ImageNet预先训练的ResNet-50作为骨干。我们对模型进行了80个纪元的训练。我们在开始时将学习率设为0.002，经过40次训练后将其降低到0.0002。对于WebVision1.0，我们遵循，并使用Inception-Resnet v2[32]作为主干。我们对模型进行了120个纪元的训练。我们将前50个阶段的学习速率设置为0.01，其余阶段的学习速率设置为0.001。

内容中包含的图片若涉及版权问题，请及时与我们联系删除