Robust Semi-supervised Learning by Wisely Leveraging Open-set Data

开放集半监督学习（OSSL）提供了一个现实的场景，即未标记数据可能来自于标记集中未见过的类别，即分布之外（OOD）的数据，这可能会导致传统半监督学习模型的性能下降。为了解决这个问题，除了传统的内部分布（ID）分类器外，一些现有的OSSL方法还采用了额外的OOD检测模块，以避免OOD数据的潜在负面影响。然而，这些方法通常在训练过程中使用整个开放集数据集，其中可能包含对OSSL任务不友好的数据，这可能会对模型性能产生负面影响。这启发我们为OSSL开发一个稳健的开放集数据选择策略。通过从学习理论的角度进行理论理解，我们提出了Wise Open-set Semi-supervised Learning（WiseOpen），这是一个通用的OSSL框架，可以选择性地利用开放集数据来训练模型。通过应用基于梯度方差的选择机制，WiseOpen利用友好的子集而不是整个开放集数据集来增强模型的ID分类能力。此外，为了减少计算开销，我们还提出了两种实用的WiseOpen变体，分别采用低频更新和基于损失的选择。广泛的实验表明，WiseOpen相对于现有技术具有更好的效果。

本论文旨在解决开放集半监督学习（OSSL）中未标记数据可能来自标记集中未见的类别（即分布外数据），从而导致传统半监督学习模型性能下降的问题。同时，该论文还试图解决使用整个开放集数据进行训练的问题。

WiseOpen是一种具有选择性的OSSL框架，通过梯度方差选择机制选择友好子集而不是整个开放集数据，以增强模型的ID分类能力。此外，为了减少计算开销，该论文还提出了两种实用的WiseOpen变体，分别采用低频更新和基于损失的选择。

该论文的实验结果表明，WiseOpen相对于现有的最先进方法具有更好的性能。该论文还使用了多个数据集进行实验，并提供了开源代码。

在这个领域中，最近的相关研究包括：'Learning with Feature Dependent Label Noise: A Progressive Approach'，'Open Set Domain Adaptation by Backpropagation'，'Deep Open Classification via Close-Set Classifiers'等。