Robust Semi-supervised Learning by Wisely Leveraging Open-set Data

开放集半监督学习（OSSL）是一个现实的设置，其中未标记的数据可能来自于标记集中未见过的类别，即超出分布（OOD）数据，这可能导致传统半监督学习模型的性能下降。为了解决这个问题，除了传统的内部分布（ID）分类器，一些现有的OSSL方法还采用了额外的OOD检测模块，以避免OOD数据的潜在负面影响。然而，这些方法通常在训练过程中使用整个开放集数据集，其中可能包含对OSSL任务不友好的数据，这可能会对模型性能产生负面影响。这启发我们为OSSL开发一个强大的开放集数据选择策略。通过从学习理论的角度进行理论理解，我们提出了一种智能开放集半监督学习（WiseOpen）的通用OSSL框架，该框架选择性地利用开放集数据来训练模型。通过应用基于梯度方差的选择机制，WiseOpen利用友好的子集而不是整个开放集数据集来增强模型的ID分类能力。此外，为了降低计算成本，我们还提出了两个实用的WiseOpen变体，分别采用低频更新和基于损失的选择。广泛的实验表明，与现有技术相比，WiseOpen的有效性。

本论文旨在解决Open-set Semi-supervised Learning（OSSL）中未标记数据可能来自标记集中未见过的类别，即out-of-distribution（OOD）数据，从而导致传统SSL模型性能下降的问题。同时，为了避免OOD数据的负面影响，一些现有的OSSL方法采用了额外的OOD检测模块。然而，这些方法通常在训练过程中使用整个open-set数据集，其中可能包含对OSSL任务不友好的数据，从而对模型性能产生负面影响。因此，本论文旨在开发一种稳健的open-set数据选择策略，以提高OSSL模型的性能。

本论文提出了一种名为Wise Open-set Semi-supervised Learning（WiseOpen）的通用OSSL框架，通过应用基于梯度方差的选择机制，仅利用友好的子集而不是整个open-set数据集来增强模型的ID分类能力。此外，为了降低计算开销，论文还提出了两种实用的WiseOpen变体，分别采用低频更新和基于损失的选择。

本论文的亮点包括：1.提出了一种新的OSSL框架WiseOpen，通过选择友好的子集来提高模型的性能；2.论文提出了两种实用的WiseOpen变体，可以降低计算开销；3.论文通过实验验证了WiseOpen的有效性，并与现有的OSSL方法进行了比较；4.论文使用了多个数据集进行实验，并公开了代码。

在这个领域中，最近的相关研究包括：1.《Open Set Domain Adaptation》；2.《Open Set Recognition: A Comprehensive Survey》；3.《Open Set Recognition by Semantic Close-up》等。