FedFisher: Leveraging Fisher Information for One-Shot Federated Learning

标准联邦学习（FL）算法通常需要服务器和客户端之间多轮通信，这有几个缺点，包括需要不断的网络连接、重复投入计算资源以及易受隐私攻击。一次性FL是一种新的范式，旨在通过使服务器在一轮通信中训练全局模型来解决这个挑战。在本文中，我们提出了FedFisher，一种新颖的一次性FL算法，它利用了在本地客户端模型上计算的Fisher信息矩阵，受FL的贝叶斯视角的启发。首先，我们在两层过参数化的ReLU神经网络上理论分析了FedFisher，并展示了随着神经网络的宽度和客户端本地训练量的增加，我们的一次性FedFisher全局模型的误差会变得非常小。接下来，我们提出了FedFisher的实际变体，使用对角Fisher和K-FAC逼近全Fisher，并强调了它们在FL中的通信和计算效率。最后，我们在各种数据集上进行了广泛的实验，结果表明，这些FedFisher的变体始终优于竞争基线。

本论文试图解决标准联邦学习算法需要多轮通信的问题，提出一种新的一次性联邦学习算法，称为FedFisher。

FedFisher算法利用在本地客户端模型上计算的Fisher信息矩阵，从贝叶斯视角出发，实现一次性联邦学习。

论文在理论上分析了FedFisher算法在两层过度参数化ReLU神经网络上的效果，并提出了实用的FedFisher变体，使用对角Fisher和K-FAC近似来提高通信和计算效率。实验结果表明，FedFisher算法在各种数据集上都优于竞争基线。

相关研究包括《Federated Learning with Non-IID Data》、《Federated Learning: Strategies for Improving Communication Efficiency》等。