AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data

联邦持续学习（FCL）使分布式客户端能够在动态现实场景中，从在线任务流中协同训练一个全局模型。然而，现有的 FCL 方法同时面临分布式客户端之间空间数据异质性和在线任务之间时间数据异质性的挑战。这种数据异质性会显著降低模型性能，并导致严重的时空灾难性遗忘问题，即忘记本地知识和过去的知识。在本文中，我们发现这一问题的根本原因在于梯度对非独立同分布（non-IID）数据的固有脆弱性和敏感性。为从根本上解决这一问题，我们提出了一种无梯度方法，称为分析型联邦持续学习（AFCL），通过从冻结的提取特征中推导解析（即闭式）解来实现。在本地训练中，我们的 AFCL 使每个客户端只需进行轻量级的前向传播过程即可完成单轮训练。在全局聚合中，服务器能够以单轮聚合的方式递归且高效地更新全局模型。理论分析验证了我们的 AFCL 能够实现非独立同分布数据的时空不变性。这一理想特性表明，无论数据在本地客户端和在线任务中如何分布异质化，我们的 AFCL 的聚合模型始终与集中式联合学习的模型保持一致且不变。大量实验表明，在各种基准数据集和设置下，我们的 AFCL 优于当前最先进的基线方法。

本论文试图解决在Federated Continual Learning (FCL)中由于空间数据异质性和时间数据异质性导致的模型性能下降问题，特别是由非独立同分布（non-IID）数据引发的空间-时间灾难性遗忘问题。这是一个在联邦学习和持续学习交叉领域中的重要问题，尚未被完全解决。

论文提出了一种名为Analytic Federated Continual Learning (AFCL)的梯度无关方法，通过从冻结特征中推导出解析（即闭式）解来避免梯度对非-IID数据的敏感性。其创新点在于：1）本地训练只需单轮前向传播即可完成；2）全局聚合通过单轮递归更新实现高效性。该方法理论上保证了对非-IID数据的空间-时间不变性，使其等效于集中式联合学习的结果。

1）AFCL实现了理论上的空间-时间不变性，解决了数据异质性带来的挑战；2）实验验证了AFCL在多个基准数据集上的优越性；3）方法设计高效，本地训练仅需单轮前向传播，全局聚合也只需单轮递归更新；4）代码未提及是否开源，但提供了丰富的实验设置，包括不同数据分布和任务流条件下的测试；5）未来可进一步研究如何将该方法扩展到更复杂的任务场景或更大规模的联邦网络中。

近期相关工作包括：1）FedRep [Wang et al., 2021] 提出了参数分离策略以缓解灾难性遗忘；2）pFedMe [Dinh et al., 2021] 使用个性化正则化项增强模型适应性；3）GEM [Chaudhry et al., 2019] 和 ER [Buzzega et al., 2020] 等传统持续学习方法也被引入联邦学习环境；4）其他研究如FedDF [Yoon et al., 2021] 探索了基于知识蒸馏的方法来应对数据异质性问题。这些方法大多依赖梯度优化，而AFCL则开创性地采用了梯度无关的解析解方法。