Cross-Domain Continual Learning via CLAMP

人工神经网络因其类似人类的认知学习能力而备受赞誉，但往往会遇到著名的灾难性遗忘问题（CF），导致神经网络失去先前获得的知识的熟练掌握。尽管有许多努力来缓解CF问题，但在复杂的变化环境中，这仍然是一个重大挑战，尤其在连续学习（CL）设置下的跨领域适应中，这个挑战更加明显，但这是一个更具挑战性和现实情况的场景，目前还未得到充分的探索。因此，本文提出了一种跨领域CL方法，使得在这种环境中可以部署单个模型，而无需额外的标记成本。我们的方法名为许多过程的连续学习方法（CLAMP），它整合了一种类别感知的对抗性域适应策略，以使源域和目标域保持一致。提出了一种评估员引导的学习过程，将一组权重分配给每个样本，控制每个样本的影响力和每个损失函数之间的交互方式，以平衡稳定性和可塑性的困境，从而防止CF问题的发生。第一个评估员专注于拒绝源域的无关样本，以解决负迁移问题，而第二个评估员则防止目标域的噪声伪标签。这两个评估员都是使用随机变换技术和源域的相似样本在元学习方法中进行训练的。理论分析和大量的数值验证表明，CLAMP在所有实验中都显著优于已有的基线算法，至少有10%的优势。

论文解决的问题是神经网络在复杂环境中遇到的灾难性遗忘问题，尤其是在跨领域适应的情况下。论文提出了一种跨领域持续学习方法，旨在解决这个问题。

论文提出了一种名为CLAMP的方法，它结合了类感知对抗域适应策略和评估者引导学习过程，以控制每个样本的影响力并平衡稳定性和可塑性之间的权衡，从而防止灾难性遗忘问题。

该论文的实验结果表明，CLAMP方法在各项实验中都显著优于基准算法，至少有10%的优势。论文还使用了随机变换技术和源域相似样本来训练评估者，防止了源域中的负面转移问题和目标域中的噪声伪标签问题。此外，论文还提供了一些开源代码和数据集。

近期在这个领域中的相关研究包括：《Overcoming Catastrophic Forgetting in Neural Networks》、《Continual Learning with Deep Generative Replay》、《Gradient Episodic Memory for Continual Learning》等。