MagMax: Leveraging Model Merging for Seamless Continual Learning

本文介绍了一种名为MagMax的连续学习方法，它利用模型合并使得大型预训练模型能够在不遗忘先前获得的知识的情况下持续学习新数据。与传统的连续学习方法不同，传统方法旨在减少任务训练期间的遗忘，而MagMax将顺序微调与最大幅度权重选择相结合，以实现跨任务的有效知识整合。我们的首要贡献是对模型合并技术进行了广泛的研究，揭示了简单的方法，如权重平均和随机权重选择，在各种连续学习环境中表现出色。更重要的是，我们提出了MagMax，这是一种新颖的模型合并策略，使得大型预训练模型能够连续学习后续任务。我们的彻底评估证明了MagMax在各种场景中的优越性，包括类增量学习和域增量学习设置。

MagMax论文试图解决的问题是如何让大型预训练模型能够在不遗忘以前学习的知识的情况下，不断从新数据中学习。这是一个连续学习的问题。

MagMax采用模型合并的方法，将连续的微调和最大幅度权重选择相结合，实现了对先前学习的知识的有效整合。与传统的连续学习方法不同，MagMax通过模型合并，使得大型预训练模型能够连续学习新的任务。

论文通过对模型合并技术的广泛研究，发现简单的方法如权重平均和随机权重选择在各种连续学习场景中都表现出色。此外，论文提出了MagMax，一种新颖的模型合并策略，能够实现对大型预训练模型的连续学习，从而在各种场景中获得更好的结果。论文通过实验验证了MagMax的优越性，并提供了开源代码和使用的数据集。

在最近的相关研究中，还有一些与连续学习相关的研究，如《Continual Learning with Hypernetworks》和《Continual Learning Through Synaptic Intelligence》等。