Personalized Federated Domain-Incremental Learning based on Adaptive Knowledge Matching

本文关注联邦域增量学习（FDIL），其中每个客户端继续学习增量任务，其域从彼此转移。我们提出了一种新颖的自适应知识匹配个性化FDIL方法（pFedDIL），允许每个客户端根据与以前任务的知识相关性交替地利用适当的增量任务学习策略。更具体地说，当新任务到达时，每个客户端首先计算其与以前任务的本地相关性。然后，客户端可以选择采用具有类似知识的先前模型或先前模型的新初始模型来训练新任务，并基于这些相关性同时迁移来自以前任务的知识。此外，为了为每个客户端识别新任务和以前任务之间的相关性，我们分别为每个目标分类模型使用辅助分类器，并提出在目标分类模型和辅助分类器之间共享部分参数以压缩模型参数。我们在几个数据集上进行了广泛的实验，结果表明，pFedDIL在所有任务的平均准确度方面比现有方法的表现提高了高达14.35％。

本论文旨在解决联邦域增量学习中的个性化问题，即每个客户端的域不同，需要针对性地选择增量学习策略。

论文提出了一种新的自适应知识匹配的个性化联邦域增量学习方法，即pFedDIL。该方法允许每个客户端根据其与先前任务的知识相关性交替地选择适当的增量任务学习策略，并同时迁移先前任务的知识。

论文通过在目标分类模型和辅助分类器之间共享部分参数来压缩模型参数，以识别每个客户端的新任务与先前任务之间的相关性。实验结果表明，pFedDIL在多个数据集上的表现均优于现有方法，平均准确率提高了14.35％。

在联邦学习和增量学习领域，已经有很多相关研究。例如，Federated Multi-Task Learning (FML)、Federated Transfer Learning (FTL)、Incremental Learning (IL)等。