Decentralized Directed Collaboration for Personalized Federated Learning

本文提出了个性化联邦学习（PFL），旨在为每个客户找到最佳的个性化模型。为避免基于服务器的联邦学习中的中央故障和通信瓶颈，我们关注于分布式个性化联邦学习（DPFL），以点对点（P2P）方式执行分布式模型训练。大多数DPFL中的个性化工作都基于无向和对称拓扑结构，然而，数据、计算和通信资源的异构性导致个性化模型存在较大差异，这会导致无向聚合产生次优的个性化性能和不确定的收敛性。为了解决这些问题，我们提出了一个有向协作的DPFL框架，将随机梯度推送和部分模型个性化结合起来，称为分布式联邦部分梯度推送（DFedPGP）。它个性化现代深度模型中的线性分类器，以定制本地解决方案并以完全分散的方式学习共识表示。客户端仅基于有向和非对称的拓扑结构与邻居的子集共享梯度，这保证了资源效率和更好的收敛性的灵活选择。理论上，我们证明了DFedPGP在一般非凸设置中实现了卓越的收敛速率O(1/根号T)，并证明了客户之间更紧密的连接将加速收敛。所提出的方法在数据和计算异构场景下实现了最先进的准确性，展示了有向协作和部分梯度推送的效率。

解决问题：论文旨在解决分布式个性化模型训练中的通信瓶颈和集中式失败问题，提出了一种基于有向图的分布式个性化联邦学习框架。

关键思路：论文提出了一种名为DFedPGP的框架，将随机梯度下降和部分模型个性化相结合，通过有向图实现客户端之间的联合训练，从而提高了资源效率和收敛速度。

其他亮点：DFedPGP在数据和计算异构性情况下实现了最先进的结果，证明了有向协作和部分梯度推送的有效性。论文还证明了更紧密的客户端连接可以加速收敛速度。实验使用了多个数据集，并提供了开源代码。

相关研究：最近的相关研究包括基于对抗训练的联邦学习和基于深度学习的联邦学习，例如“Federated Learning with Matched Averaging”和“Deep Reinforcement Learning for Federated Learning”等。