Variational Bayes for Federated Continual Learning

联邦持续学习（FCL）因其处理实际流数据的潜力而受到越来越多的关注，这些数据具有随着时间的推移而演变的数据分布和不同的客户端类别。存储限制和隐私问题的限制将本地模型限制为仅在每个学习周期内访问当前数据。因此，这种限制导致模型在以前的数据上训练时性能下降，被称为“灾难性遗忘”。然而，现有的FCL方法需要识别或了解数据分布的变化，这在现实世界中很困难。为了释放这些限制，本文将注意力转向更广泛的连续框架。在这个框架内，我们介绍了联邦贝叶斯神经网络（FedBNN），这是一个通用而有效的框架，采用变分贝叶斯神经网络跨所有客户端。我们的方法不断地将本地和历史数据分布的知识集成到一个单一的模型中，能够从新的数据分布中灵活地学习，同时保持对历史分布的性能。我们使用各种指标对FedBNN在联邦学习和持续学习中的表现进行了严格评估。跨不同数据集的实验分析表明，FedBNN在减轻遗忘方面取得了最先进的结果。

本文旨在解决联邦持续学习中的遗忘问题，提出了一种名为Federated Bayesian Neural Network（FedBNN）的框架。

FedBNN框架采用变分贝叶斯神经网络，将所有客户端的知识不断融合到一个模型中，从而能够在学习新的数据分布的同时，保留历史数据分布的性能。

本文在多个数据集上对FedBNN的性能进行了评估，并与现有的联邦学习和持续学习方法进行了比较。实验结果表明，FedBNN在减轻遗忘方面取得了最先进的结果。

近期在这个领域中，还有一些相关的研究，如《Federated Learning with Matched Averaging》、《Federated Learning for Healthcare Informatics》等。