Vanishing Variance Problem in Fully Decentralized Neural-Network Systems

联邦学习和八卦学习是新兴的方法，旨在通过在客户端设备上保留训练数据并仅与他人共享经过本地训练的机器学习（ML）模型来缓解数据隐私问题。两者之间的主要区别在于它们的模型聚合方法：联邦学习采用集中式参数服务器，而八卦学习采用完全分散的机制，使节点之间可以直接交换模型。这种分散的特性通常使八卦学习相对于联邦学习效率较低。两种方法都涉及一个关键步骤：计算接收到的ML模型的表示，并将该表示集成到现有模型中。传统上，这个表示是通过对接收到的模型进行平均来得出的，例如FedAVG算法。我们的研究表明，这种平均方法本质上会引入模型收敛的潜在延迟。我们确定了潜在原因，并将其称为“消失方差”问题，即跨不相关的ML模型进行平均会削弱Xavier权重初始化所建立的最优方差。与联邦学习需要中央服务器确保模型相关性不同，也不同于传统的八卦学习通过模型分区和抽样来规避这个问题，我们的研究引入了一种方差校正的模型平均算法。这种新颖的算法保留了模型平均所需的最优方差，无论网络拓扑或非独立同分布的数据分布如何。我们广泛的模拟结果表明，我们的方法使八卦学习能够实现与联邦学习相当的收敛效率。

本论文旨在解决联邦学习和Gossip学习中模型聚合过程中可能出现的收敛延迟问题，提出一种新的算法解决这一问题。

论文提出了一种基于方差校正的模型平均算法，解决了传统平均算法可能导致的方差消失问题，提高了Gossip学习的收敛效率。

论文通过大量实验验证了新算法的有效性，并与传统算法和联邦学习进行了比较。同时，论文还探讨了非IID数据分布和网络拓扑对算法效率的影响，并提出了一些值得进一步研究的问题。

在相关研究方面，近年来有不少关于联邦学习和Gossip学习的研究，例如《Federated Learning: Strategies for Improving Communication Efficiency》和《Gossip Learning with Aggregation Weights Exchange》等。