Relation Modeling and Distillation for Learning with Noisy Labels

学习带有噪声标签已成为提高模型鲁棒性的有效策略，使模型能够更好地容忍不准确的数据。现有方法要么专注于优化损失函数以减轻噪声干扰，要么设计程序以检测潜在噪声并纠正错误。然而，在表示学习中，它们的有效性经常受到困境的影响，即模型过度拟合于噪声标签。为了解决这个问题，本文提出了一种关系建模和蒸馏框架，通过自监督学习建模样本之间的关系，并采用知识蒸馏来增强对潜在关联的理解，从而减轻噪声标签的影响。具体来说，所提出的方法称为RMDNet，包括两个主要模块，其中关系建模（RM）模块实现对所有数据的对比学习技术，这是一种无监督方法，可以有效消除噪声标签对特征提取的干扰。关系引导表示学习（RGRL）模块利用从RM模块学习的样本之间的关系来校准噪声样本的表示分布，能够提高模型在推理阶段的泛化能力。值得注意的是，所提出的RMDNet是一个即插即用的框架，可以将多种方法集成到其优势中。在两个数据集上进行了广泛的实验，包括性能比较、消融研究、深入分析和案例研究。结果表明，RMDNet可以学习带有噪声数据的判别表示，其性能优于现有方法。

本论文试图解决学习中存在噪声标签的问题，提出了一种新的关系建模和蒸馏框架来提高模型的鲁棒性。

论文提出了一种关系建模和蒸馏框架，通过自监督学习来建模样本之间的关系，并利用知识蒸馏来增强对潜在关联的理解，以减轻噪声标签的影响。

论文提出的RMDNet是一种可插拔的框架，可以将多种方法集成到其中。论文在两个数据集上进行了大量实验，并进行了性能比较、消融研究、深入分析和案例研究。实验结果表明，RMDNet可以为噪声数据学习判别性表示，从而比现有方法具有更好的性能。

最近在这个领域中，还有一些相关研究，如《Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels》、《Learning from Noisy Large-Scale Datasets with Minimal Supervision》等。