FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update

个性化联邦学习（PFL）广泛应用于物联网应用中，以处理高容量、非独立同分布的客户端数据，同时确保数据隐私。然而，由客户拥有的异构边缘设备可能会施加不同程度的资源限制，从而导致PFL的计算和通信瓶颈。联邦Dropout已成为解决这一挑战的一种流行策略，其中仅在客户端设备上训练全局模型的子模型，从而减少计算和通信开销。然而，基于Dropout的模型修剪策略可能会引入偏差，特别是对非独立同分布的本地数据。当有偏的子模型吸收其他客户端高度发散的参数时，性能下降是不可避免的。为此，我们提出了随机参数更新的联邦学习（FedSPU）。与Dropout针对小型本地子模型量身定制全局模型不同，FedSPU在每个设备上保留完整的模型架构，但在训练过程中随机冻结本地模型中一定百分比的神经元，同时更新其余神经元。这种方法确保本地模型的一部分保持个性化，从而增强模型对其他客户端偏差参数的鲁棒性。实验结果表明，FedSPU的准确性平均优于联邦Dropout 7.57％。此外，引入的早停方案可显着减少训练时间，减少24.8％至70.4％，同时保持高准确性。

解决高容量、非iid客户端数据和数据隐私之间的问题，同时避免异构边缘设备造成的计算和通信瓶颈。

提出了一种名为FedSPU的新方法，该方法在每个设备上维护完整的模型结构，但在训练期间随机冻结一定比例的神经元，以确保本地模型的一部分保持个性化，从而增强模型对其他客户端的偏差参数的鲁棒性。

实验结果表明，FedSPU在准确性方面平均优于federated dropout 7.57％。提出的早停方案可以显著减少训练时间，同时保持高准确性。

与之前的研究相比，该论文提出的方法在保持数据隐私的同时，提高了模型的鲁棒性。相关研究包括：'Communication-Efficient Learning of Deep Networks from Decentralized Data'和'Federated Learning with Non-IID Data'。