Continual Learning of Numerous Tasks from Long-tail Distributions

本文探讨了持续学习算法在大量任务的情况下的表现，这些任务来自于长尾任务分布，即任务大小不均衡的分布。持续学习是人工智能和机器学习研究的重要方向，旨在开发能够在学习新任务的同时保留之前学到知识的模型。现有的持续学习算法通常涉及少量任务，且任务大小均匀，可能无法准确地表示真实世界的学习场景。为此，本文设计了一个合成数据集和两个真实的持续学习数据集，以评估现有算法在这种情况下的表现。此外，本文研究了持续学习中一个被忽视的因素——优化器状态，例如Adam优化器中的一阶和二阶矩，并探讨如何利用它来提高持续学习性能。本文提出了一种方法，通过维护先前任务的二阶矩的加权平均值来重新使用Adam中的优化器状态。我们证明了我们的方法与大多数现有的持续学习算法兼容，在只增加少量计算或内存成本的情况下有效地减少了遗忘，并在长尾任务序列中进一步改进了现有的持续学习算法。

本论文旨在探索大量任务的长尾分布下，连续学习算法的性能，以及优化器状态在连续学习中的作用。

论文提出了一种重用Adam优化器状态的方法，通过维护先前任务的第二矩的加权平均值来有效减少遗忘，提高连续学习性能。

论文设计了一个合成数据集和两个真实的连续学习数据集来评估现有算法在长尾任务序列中的表现。提出的方法兼容大多数现有的连续学习算法，仅具有少量的额外计算或内存成本，并在长尾任务序列中提供更好的性能。

最近的相关研究包括《Continual Learning with Hypernetworks》和《Continual Learning Through Synaptic Intelligence》等。