Disentangling and Mitigating the Impact of Task Similarity for Continual Learning

部分相似任务的持续学习对于人工神经网络构成了挑战，因为任务相似性既提供了知识转移的机会，又存在干扰和灾难性遗忘的风险。然而，目前尚不清楚输入特征和读出模式的任务相似性如何影响知识转移和遗忘，以及它们如何与常见的持续学习算法相互作用。在这里，我们开发了一个具有潜在结构的线性师生模型，并在分析中表明，高输入特征相似性和低读出相似性对于知识转移和保留都是灾难性的。相反，相反的情况相对温和。我们的分析进一步揭示了任务相关的活动门控制可以提高知识保留，但会牺牲转移；而任务相关的可塑性门控制不会影响保留或转移性能，超参数限制下基于费舍尔信息度量的权重正则化显著提高了保留能力，而不影响任务相似性，但其对于任务相似性的对角线近似和欧几里得空间的正则化则不够稳健。我们在具有潜在变量的排列MNIST任务中展示了一致的结果。总的来说，这项工作提供了关于何时持续学习困难以及如何缓解它的见解。

本论文旨在探究任务相似性对于神经网络知识迁移和遗忘的影响，以及如何使用不同算法来缓解这种影响。

通过开发一个具有潜在结构的线性师生模型，论文分析表明，高输入特征相似性和低输出相似性对于知识迁移和保留都是灾难性的。相反，相反的情况相对温和。文章还发现，基于Fisher信息度量的权重正则化可以显著提高保留，而不影响迁移性能。

论文设计了一个线性师生模型，通过理论分析和实验验证了任务相似性对于知识迁移和遗忘的影响。研究发现，权重正则化可以显著提高保留性能，而不影响迁移性能。文章还探讨了任务相关的活动门控和可塑性门控对于知识迁移和保留的影响。

与本论文相关的研究包括：《Overcoming catastrophic forgetting with hard attention to the task》、《Continual learning with deep generative replay》等。