Rehearsal-free Federated Domain-incremental Learning

我们介绍了一种基于全局提示共享范式的无需排练的联邦域增量学习框架RefFiL，以缓解联邦域增量学习中的灾难性遗忘挑战，其中不断学习未见过的域。通常用于缓解遗忘的方法，例如使用额外的数据集和保留早期任务的私有数据，在联邦学习（FL）中不可行，因为设备的资源有限。我们的方法RefFiL通过学习域不变知识并结合不同FL参与者所代表的域的各种特定提示来解决这个问题。RefFiL的一个关键特点是我们的域自适应提示生成器生成本地细粒度提示，有效地从本地域知识中学习，同时在全局范围内保持独特的边界。我们还引入了一个域特定提示对比学习损失，区分本地生成的提示和来自其他域的提示，增强了RefFiL的精度和有效性。与现有方法相比，RefFiL显著减轻了灾难性遗忘，而无需额外的存储空间，使其非常适合隐私敏感和资源受限的设备。

解决问题的主要目标是什么？

这篇论文提出了一个全局提示共享的框架RefFiL，通过生成本地细粒度提示来学习领域不变的知识，并将来自不同FL参与者代表的领域特定提示结合起来。这种方法可以在不需要额外存储空间的情况下显著减轻灾难性遗忘，适用于隐私敏感和资源受限的设备。

论文的亮点包括使用本地细粒度提示来学习领域不变的知识，提出了一个新的全局提示共享框架RefFiL，使用了领域特定提示对框架进行增强，实验结果表明RefFiL可以有效地减轻灾难性遗忘。

在这个领域中，最近的相关研究包括《Federated Incremental Learning via Balancing》、《Federated Multi-Task Learning with Cross-Task Knowledge Transfer》、《Federated Learning with Matched Averaging》等。