FedSI: Federated Subnetwork Inference for Efficient Uncertainty Quantification

本文介绍了一种新的基于贝叶斯深度神经网络（DNNs）的子网络推断个性化联邦学习（PFL）框架——FedSI。PFL是解决数据异质性并展现出良好性能的有效方法，但现有联邦学习（FL）方法存在有效系统不确定性量化的问题。通常，基于贝叶斯DNNs的PFL被质疑其模型结构过于简化或计算和内存成本过高。FedSI通过利用贝叶斯方法有效地融合系统不确定性，实现了一个客户端特定的子网络推断机制，选择具有大方差的网络参数通过后验分布进行推断，并将其余部分固定为确定性的。FedSI在保留最大系统不确定性的同时，实现了快速且可扩展的推断。在三个不同的基准数据集上的广泛实验表明，FedSI在异构FL场景中优于现有的贝叶斯和非贝叶斯FL基线。

本文旨在解决联邦学习中系统不确定性量化的问题，提出了一种名为FedSI的贝叶斯深度神经网络子网络推断框架。

FedSI框架通过贝叶斯方法将系统不确定性有效地纳入模型中，实现了客户端特定的子网络推断机制，并通过后验分布选择具有大方差的网络参数进行推断。

FedSI框架简单可扩展，在三个基准数据集上的实验表明，其在异构联邦学习场景中优于现有的贝叶斯和非贝叶斯联邦学习基线。实验结果表明FedSI框架在保留系统不确定性的同时实现了快速可扩展的推断。

近期的相关研究包括：《A Survey on Federated Learning Systems: Vision, Hype and Reality for Data Privacy and Protection》、《Federated Learning: Challenges, Methods, and Future Directions》等。