One-Shot Federated Learning with Bayesian Pseudocoresets

优化基于联邦学习（FL）的技术往往伴随着高昂的通信成本，因为高维模型参数需要在服务器和客户端之间重复传输。本文采用贝叶斯方法，通过将全局推断问题解决为本地客户端后验的乘积，实现了一次性通信的FL。对于具有多模态似然函数的模型，如神经网络，这种方法的朴素应用受到阻碍，因为客户端将捕获不同的后验模式，导致服务器端的后验崩溃。因此，我们探索了在客户端后验的函数空间表示中进行近似推断，从而遭受较少或根本不受多模性的影响。我们展示了分布式函数空间推断与学习贝叶斯伪核集密切相关，并在此基础上开发了一种可行的贝叶斯FL算法。我们展示了这种方法在预测性能上与最先进的方法相当，同时在通信成本上实现了高达两个数量级的惊人降低。此外，由于其贝叶斯性质，我们的方法还提供了良好校准的不确定性估计。

本论文旨在解决联邦学习中高通信成本的问题，提出了一种基于贝叶斯方法的联邦学习算法，能够通过一次通信实现全局推断。

该论文的关键思路是将全局推断问题作为本地客户端后验概率的乘积来解决，并且通过在函数空间表示中进行近似推断，从而避免了多模态带来的问题。

该算法在预测性能上与现有算法相当，但通信成本可以降低两个数量级。此外，由于其贝叶斯性质，该算法还能提供良好的不确定性估计。

在联邦学习领域，最近的相关研究包括：《Communication-Efficient Learning of Deep Networks from Decentralized Data》、《Federated Learning with Matched Averaging》等。