Bridging Model Heterogeneity in Federated Learning via Uncertainty-based Asymmetrical Reciprocity Learning

本文介绍了FedType，一个简单而又开创性的框架，旨在填补联邦学习中异构模型聚合方面的研究空白。FedType为客户端引入了小型相同的代理模型，作为信息交换的代理，确保模型安全，并同时实现高效通信。为了在客户端的大型私有模型和小型代理模型之间传输知识，我们提出了一种新颖的基于不确定性的非对称互惠学习方法，消除了任何公共数据的需求。在基准数据集上进行的全面实验证明了FedType在不同设置下的有效性和泛化能力。我们的方法通过桥接模型异构性、消除对公共数据的依赖、优先考虑客户隐私和减少通信成本来重新定义联邦学习范式。

本论文旨在解决联邦学习中异构模型聚合的研究空白，提高模型安全性和通信效率。

FedType提出了小型代理模型作为客户端的信息交换代理，确保模型安全性和通信效率。同时，该论文提出了一种基于不确定性的不对称互惠学习方法，消除了对公共数据的依赖。

论文的实验结果表明FedType在不同设置下具有良好的效果和泛化能力。该方法通过解决模型异构性、减少通信成本、优先考虑客户端隐私等方面重新定义了联邦学习范式。

在此领域的相关研究包括：《Federated Learning with Non-IID Data: A Semi-Supervised Approach》、《Communication-Efficient Learning of Deep Networks from Decentralized Data》等。