Theory on Mixture-of-Experts in Continual Learning

持续学习（CL）因其适应随时间而变化的新任务的能力而受到广泛关注。在模型适应新任务时，老任务的灾难性遗忘（catastrophic forgetting）被认为是CL的一个主要问题。最近，混合专家（MoE）模型通过使用门控网络将多样的任务稀疏分配给多个专家，有效地缓解了CL中的灾难性遗忘。然而，MoE及其对CL学习性能的影响缺乏理论分析。本文通过超参数化的线性回归任务的视角，提供了第一个表征MoE在CL中影响的理论结果。我们通过证明MoE模型可以使其专家多样化以便专门处理不同的任务，而其路由器学习为每个任务选择正确的专家并在所有专家之间平衡负载，从而证明了MoE相对于单个专家的优势。我们的研究进一步表明，MoE在CL中需要在足够的训练轮数后终止门控网络的更新，以达到系统收敛，而这在不考虑持续任务到来的现有MoE研究中是不需要的。此外，我们提供了期望遗忘和总体泛化误差的显式表达式，以表征MoE在CL中学习性能的好处。有趣的是，增加更多的专家需要额外的轮数才能收敛，这可能不会提高学习性能。最后，我们在合成和真实数据集上进行实验，将这些洞见从线性模型扩展到深度神经网络（DNN），并为MoE在CL中的实际算法设计提供了启示。

论文旨在解决连续学习中的灾难性遗忘问题，提出了一种基于Mixture-of-Experts模型的解决方案，并探讨了该模型对学习性能的影响。

论文通过理论分析和实验验证，证明了Mixture-of-Experts模型可以通过门控网络将不同任务分配给多个专家，并选择合适的专家来平衡负载，从而在连续学习中缓解灾难性遗忘问题。

论文提供了连续学习中Mixture-of-Experts模型的首个理论分析，同时还提供了明确的公式来衡量该模型对学习性能的影响。论文还通过实验验证了该模型在线性模型和深度神经网络上的有效性，并探讨了该模型的算法设计和未来研究方向。

在相关研究方面，最近也有其他学者在探索连续学习中的灾难性遗忘问题，如《Continual Learning with Deep Generative Replay》和《Gradient Episodic Memory for Continual Learning》等。