Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning

半监督学习（SSL）取得了显著进展，导致出现了许多方法变体。然而，实践者在尝试部署这些方法时经常遇到挑战，因为它们的性能不佳。在本文中，我们提出了一种名为FineSSL的新型SSL方法，通过适应预训练的基础模型，显著解决了这个限制。我们确定了基础模型中固有的聚合偏差和认知偏差问题，并通过施加平衡的边缘softmax和解耦标签平滑的简单而有效的解决方案。通过广泛的实验，我们证明FineSSL在多个基准数据集上设置了新的SSL技术水平，将训练成本降低了六倍以上，并且可以无缝地集成各种微调和现代SSL算法。源代码可在https://github.com/Gank0078/FineSSL获得。

FineSSL旨在解决半监督学习方法在实际应用中性能不足的问题，并尝试通过调整预训练模型来改进性能。

FineSSL采用平衡的margin softmax和解耦的标签平滑方法来解决预训练模型中存在的偏差和认知偏差问题，并成功地将其应用于半监督学习中。

FineSSL在多个基准数据集上取得了新的半监督学习最优结果，并将训练成本降低了六倍以上。此外，FineSSL还可以与其他微调和现代半监督学习算法无缝集成，并提供了开源代码。

最近相关研究包括：Mean teachers, MixMatch, FixMatch等。