Provable Contrastive Continual Learning

持续学习需要学习具有动态数据分布的增量任务。到目前为止，观察到在持续学习中使用对比损失和蒸馏损失的组合进行训练可以产生强大的性能。然而，据我们所知，这种对比持续学习框架缺乏令人信服的理论解释。在这项工作中，我们通过建立理论性能保证来填补这一空白，揭示了模型的性能如何受到对比持续学习框架中先前任务的训练损失的限制。我们的理论解释进一步支持预训练有益于持续学习的想法。受到我们对这些保证的理论分析的启发，我们提出了一种新的对比持续学习算法CILA，它使用适应性蒸馏系数来处理不同的任务。这些蒸馏系数可以通过先前任务的平均蒸馏损失和平均对比损失之间的比率轻松计算。我们的方法在标准基准测试中表现出极大的改进，并实现了新的最先进性能。

填补对比持续学习框架的理论解释空白，提出新的可适应蒸馏系数的算法CILA，旨在改善持续学习的性能

论文建立了理论性能保证，揭示了模型性能如何受到对比持续学习框架中先前任务的训练损失的限制，并提出了可适应蒸馏系数的算法CILA

论文使用对比损失和蒸馏损失的组合进行持续学习，提出了CILA算法，该算法使用可适应蒸馏系数来平衡两种损失，并在标准基准测试中取得了最新的最佳表现

相关研究包括持续学习、对比学习、蒸馏等方面的研究，例如《Continual Learning with Deep Generative Replay》、《Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination》等