The Championship-Winning Solution for the 5th CLVISION Challenge 2024

本文介绍了我们在第五届CLVision挑战赛中的方法，该挑战赛提出了超越传统类增量学习的独特挑战。与标准设置不同，该竞赛具有先前遇到的类别的再次出现，并包括可能包含超出分布（OOD）类别的未标记数据。我们的方法基于获胜子网络，为每个任务分配独立的参数空间，解决了类增量学习中的灾难性遗忘问题，并采用了三种训练策略：监督分类学习、无监督对比学习和伪标签分类学习，以充分利用标记和未标记数据中的信息，提高每个子网络的分类性能。此外，在推断阶段，我们设计了子网络之间的交互策略，对于特定样本的特定类别的预测是相应类别的不同子网络之间的平均逻辑回归，利用从不同子网络学习到的关于重复类别的知识来提高分类准确性。这些策略可以同时应用于竞赛的三种情况，有效解决了竞赛场景中的困难。实验结果表明，我们的方法在预选和最终评估阶段均排名第一，在预选阶段的平均准确率为0.4535，在最终评估阶段的平均准确率为0.4805。

本论文旨在解决第五届CLVision挑战赛中的类别增量学习问题，包括重复出现的类别和可能包含超出分布的未标记数据。

论文的关键思路是利用Winning Subnetworks将每个任务分配独立参数空间，以解决类别增量学习中的灾难性遗忘问题，并采用三种训练策略：监督分类学习，无监督对比学习和伪标签分类学习，充分利用标记和未标记数据中的信息，提高每个子网络的分类性能。此外，在推理阶段，论文设计了子网络之间的交互策略，通过对重复出现的类别的不同子网络的平均logits进行预测，利用从不同子网络学习的知识来提高分类精度。

论文在三种竞赛场景中同时应用了这些策略，有效地解决了竞赛场景中的困难。实验结果表明，该方法在预选和最终评估阶段均排名第一，在预选阶段的平均准确率为0.4535，在最终评估阶段的平均准确率为0.4805。

与此相关的最近研究包括：《Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference》、《Continual Learning with Deep Generative Replay》、《Overcoming Catastrophic Forgetting with Hard Attention to the Task》等。