The Dog Walking Theory: Rethinking Convergence in Federated Learning

本文研究了联邦学习在非独立同分布（non-IID）数据上的收敛性问题，并提出了一种新的“遛狗理论”来描述现有研究中缺失的要素。遛狗理论描述了一个遛狗人从公园的一边走到另一边，牵着多只狗的过程。遛狗人的目标是到达正确的目的地，同时给狗足够的锻炼（即空间探索）。在联邦学习中，服务器类似于遛狗人，客户端类似于狗。这种类比使我们能够确定现有联邦学习算法中一个关键但缺失的要素：引导客户端探索的“牵引绳”。为了解决这个问题，我们提出了一种新的联邦学习算法FedWalk，利用服务器端的一个易于收敛的外部任务作为“牵引任务”来引导客户端的本地训练。我们从数据异质性（服务器和客户端之间）和任务差异（牵引任务和原始任务之间）两方面理论分析了FedWalk的收敛性。多个基准数据集上的实验证明了FedWalk在IID和non-IID设置下优于现有联邦学习方法。

研究联邦学习在非独立同分布数据上的收敛问题，并提出一种新的算法来解决这个问题。

提出了"Dog Walking Theory"的比喻，将服务器视为遛狗者，将客户端视为狗。通过引入一个易于收敛的任务作为"牵引任务"，来指导客户端的本地训练。

提出的算法FedWalk在多个基准数据集上的实验中，证明了在独立同分布和非独立同分布的情况下都优于现有的联邦学习方法。论文还提供了理论分析和开源代码。

近期的相关研究包括："Federated Learning with Matched Averaging"、"FedAvg with Noise Injection"、"FedProx: Federated Optimization with Proximal Terms"等。