Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory

这项工作介绍了一种新颖高效的贝叶斯联邦学习算法，即联邦平均随机哈密顿蒙特卡罗（FA-HMC），用于参数估计和不确定性量化。我们建立了FA-HMC在非独立同分布数据集上的严格收敛保证，基于强凸性和黑塞矩阵光滑性假设。我们的分析研究了参数空间维度、梯度噪声和动量以及中心节点和本地节点之间通信频率对FA-HMC的收敛和通信成本的影响。此外，我们通过展示连续FA-HMC过程的收敛速率无法改善来证明了我们分析的紧密性。此外，广泛的实证研究表明，FA-HMC优于现有的联邦平均-朗之万蒙特卡罗（FA-LD）算法。

本文试图解决的问题是在非独立同分布分布的数据集上进行参数估计和不确定性量化的问题。

本文提出了一种新的贝叶斯联邦学习算法，FA-HMC，它使用随机哈密顿蒙特卡罗方法来解决参数估计和不确定性量化问题。

本文证明了FA-HMC在强凸性和海森矩阵平滑性的假设下，可以在非独立同分布分布的数据集上收敛。研究还探讨了参数空间维度、梯度噪声和动量、通信频率等因素对FA-HMC收敛和通信成本的影响。实验结果表明，FA-HMC优于现有的FA-LD算法。

最近的相关研究包括：Federated Averaging-Langevin Monte Carlo (FA-LD)算法。