Relation Modeling and Distillation for Learning with Noisy Labels

学习带有噪声标签已成为增强模型鲁棒性的有效策略，使模型能够更好地容忍不准确的数据。现有方法要么专注于优化损失函数以减轻噪声干扰，要么设计程序以检测潜在噪声并纠正错误。然而，在表示学习中，它们的有效性通常会受到困境的影响，即模型会过度拟合噪声标签。为解决这个问题，本文提出了一种关系建模和蒸馏框架，通过自监督学习建模样本间的关系，并采用知识蒸馏来增强对潜在关联的理解，从而减轻噪声标签的影响。具体而言，所提出的方法称为RMDNet，包括两个主要模块，其中关系建模（RM）模块实现对所有数据的对比学习技术，是一种无监督方法，可以有效消除噪声标签对特征提取的干扰。关系引导表示学习（RGRL）模块利用从RM模块学习到的样本间关系来校准噪声样本的表示分布，能够提高模型在推理阶段的泛化能力。值得注意的是，所提出的RMDNet是一个可插拔的框架，可以将多种方法集成到其中。在两个数据集上进行了大量实验，包括性能比较、削减研究、深入分析和案例研究。结果表明，RMDNet能够学习带有噪声数据的判别表示，其性能优于现有方法。

本文旨在解决学习噪声标签时过拟合的问题，提出了一种关系建模和蒸馏框架，通过自监督学习建模样本之间的关系，并利用知识蒸馏增强对潜在关联的理解，从而缓解噪声标签的影响。

本文提出的RMDNet框架包含两个主要模块：关系建模（RM）模块和关系引导表示学习（RGRL）模块。RM模块通过对比学习技术学习所有数据的表示，这是一种无监督方法，可以有效消除噪声标签对特征提取的干扰。RGRL模块利用从RM模块学习的样本之间的关系来校准噪声样本的表示分布，从而提高模型在推断阶段的泛化能力。

本文的亮点包括：提出了一种新的关系建模和蒸馏框架RMDNet，可以集成多种方法；在两个数据集上进行了广泛的实验，包括性能比较、消融研究、深入分析和案例研究；实验结果表明，RMDNet可以为噪声数据学习判别性表示，从而比现有方法具有更好的性能。

在这个领域中，最近的相关研究包括：《Learning with Noisy Labels: A Survey》、《Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels》、《Meta-Learning for Semi-Supervised Few-Shot Classification》等。