Learning Equi-angular Representations for Online Continual Learning

在线持续学习由于训练不足（例如单次训练）而导致欠拟合的问题。为了解决这个挑战，我们提出了一种使用神经坍塌现象的高效在线持续学习方法。具体而言，我们诱导神经坍塌形成表示空间中的单纯等角紧框架（ETF）结构，通过在表示空间中提出预备数据训练和残差校正，使单次训练的连续学习模型更好地适应流式数据。通过对CIFAR-10/100、TinyImageNet、ImageNet-200和ImageNet-1K进行广泛的实证验证，我们展示了我们提出的方法在各种在线持续学习场景（如不相交的和高斯调度的连续数据设置）中都比最先进的方法表现更好。

解决问题：论文提出了一种在线持续学习的方法，旨在解决单次训练不足以更新模型的问题。同时，该方法通过诱导神经崩溃现象来形成一个在表示空间中的等角紧框架结构，从而更好地适应不断流入的数据。

关键思路：论文中提出了使用神经崩溃现象来形成等角紧框架结构的方法，以便持续学习的模型能够更好地适应新的数据。该方法通过预备数据训练和残差校正来实现。

其他亮点：论文通过在CIFAR-10/100、TinyImageNet、ImageNet-200和ImageNet-1K上进行广泛的实证验证，表明该方法在各种在线持续学习场景下都比现有方法表现更好。值得关注的是，该方法在不同的数据设置下都能取得很好的表现。

相关研究：最近在这个领域中，一些相关的研究包括《Continual Learning with Hypernetworks》、《Gradient Episodic Memory for Continual Learning》和《Overcoming Catastrophic Forgetting with Hard Attention to the Task》。