Foster Adaptivity and Balance in Learning with Noisy Labels

标签噪声在现实场景中普遍存在，由于其会影响深度神经网络的泛化性能，因此对监督模型构成了实际挑战。现有方法主要采用样本选择范式，并通常依赖于数据集相关的先验知识（例如，预定义的阈值）来处理标签噪声，这不可避免地会降低适应性。此外，现有方法往往忽视在选择样本时的类平衡，导致模型性能偏差。为此，我们提出了一种名为SED的简单而有效的方法来以自适应和类平衡的方式处理标签噪声。具体而言，我们首先设计了一种新颖的样本选择策略，以增强在识别干净和嘈杂数据时的自适应性和类平衡性。然后，我们采用平均教师模型来纠正嘈杂样本的标签。随后，我们提出了一种自适应和类平衡的样本重新加权机制，以对检测到的嘈杂样本分配不同的权重。最后，我们还在选择的干净样本上采用一致性正则化来提高模型的泛化性能。对合成和真实数据集的广泛实验结果表明，我们提出的方法的有效性和优越性。源代码已经公开在https://github.com/NUST-Machine-Intelligence-Laboratory/SED。

本论文旨在解决标签噪声对深度神经网络泛化性能的影响，提出一种自适应和类平衡的方法来处理标签噪声。这是否是一个新问题？

论文提出了一种名为SED的方法，采用自适应和类平衡的方式处理标签噪声。具体来说，论文设计了一种新的样本选择策略来实现自适应和类平衡，使用平均教师模型来纠正噪声样本的标签，提出了一种自适应和类平衡的样本重新加权机制来分配不同的权重给检测到的噪声样本，并在选定的干净样本上使用一致性正则化来提高模型的泛化性能。

论文在合成和真实数据集上进行了广泛的实验，证明了所提出的SED方法的有效性和优越性。论文还公开了源代码，可供使用。值得进一步研究的方向包括如何处理更复杂的标签噪声以及如何将SED方法与其他深度学习模型结合使用。

近期的相关研究包括：《Learning from Noisy Large-Scale Datasets with Minimal Supervision》、《CLEANSE: A Scalable Approach to Corruption Estimation for Neural Networks》、《Towards Robust Learning with Label Noise: An Empirical Study》等。