FeTrIL++: Feature Translation for Exemplar-Free Class-Incremental Learning with Hill-Climbing

本文探讨了无样本类增量学习（EFCIL）所面临的重大挑战，主要是由于灾难性遗忘而导致的，需要在稳定性和可塑性之间取得微妙的平衡，以准确识别新的和以前的类别。传统的EFCIL方法通常倾向于通过连续微调来增加模型的可塑性，或通过在初始增量状态之后使用固定的特征提取器来增加稳定性。在建立基础的FeTrIL框架的基础上，本研究扩展到新的实验领域，以检验各种过采样技术和动态优化策略在多个具有挑战性的数据集和增量设置中的有效性。我们特别探讨了过采样如何影响准确性与特征可用性的关系，以及不同的优化方法，包括动态校准和特征池多样化，如何影响增量学习结果。这些全面的实验结果，在CIFAR100、Tiny-ImageNet和ImageNet-Subset上进行，强调了FeTrIL在平衡新的和过去的类别的准确性方面的卓越性能，相对于十种现代方法。值得注意的是，我们的扩展揭示了过采样和优化对EFCIL的微妙影响，为类增量学习的特征空间操作提供了更精细的理解。FeTrIL及其在本文中的扩展分析为更适应性和高效的EFCIL方法铺平了道路，承诺在不需要样本的情况下显著改善处理灾难性遗忘的能力。

本文试图解决Exemplar-free class-incremental learning（EFCIL）中的灾难性遗忘问题，通过平衡稳定性和可塑性来准确识别新的和以前的类别。

本文的关键思路是扩展基于FeTrIL框架的实验，探索不同的过采样技术和动态优化策略对多个具有挑战性的数据集和增量设置的影响，并研究过采样如何影响特征可用性以及不同的优化方法如何影响增量学习结果。

本文的亮点是通过实验探索了过采样和优化对EFCIL的影响，揭示了特征空间操作对类别增量学习的影响，并提出了FeTrIL和FeTrIL++框架，相比于其他十种现有方法，在CIFAR100、Tiny-ImageNet和ImageNet-Subset数据集上表现出更好的准确性。同时，本文还提供了开源代码。

最近的相关研究包括《End-to-End Incremental Learning》、《Continual Learning with Deep Generative Replay》等。