FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization

解决问题：这篇论文旨在解决集群联邦学习中的群体共识问题，即在保护数据隐私和通信限制的前提下，训练适用于每个群体的模型，而不是为所有用户训练单一的全局模型。

关键思路：论文提出了一种基于共识优化思想的新型解决方案，即FedCBO算法。该算法基于一组相互作用的粒子系统，不考虑群组成员身份，通过坚实的数学推理，包括描述粒子系统大量数目极限的均值场分析，以及在均值场极限下全局优化一般非凸目标函数（对应于每个用户群体的损失函数）的收敛保证。

其他亮点：论文的实验结果证明了FedCBO算法的有效性，并有助于验证论文的方法和理论工作。论文没有提到是否有开源代码。

关于作者：主要作者包括Jose A. Carrillo、Nicolas Garcia Trillos、Sixu Li和Yuhua Zhu。他们分别来自美国和英国的多个机构，包括加州大学洛杉矶分校、加州大学伯克利分校、伦敦大学学院等。根据我的数据库，他们之前的代表作包括：Jose A. Carrillo在2019年发表的“Entropy dissipation methods for degenerate parabolic problems and generalized gradient flows”、Nicolas Garcia Trillos在2019年发表的“Stochastic Homogenization of Non-Convex Energies with Singular Interactions”、Sixu Li在2019年发表的“Federated Optimization in Heterogeneous Networks with Communication Delays”、Yuhua Zhu在2019年发表的“Max-Margin Learning with Inconsistent Labels”。

相关研究：近期其他相关的研究包括：

  • “Federated Learning with Non-IID Data: An Empirical Study” by Peter Kairouz, H. Brendan McMahan, Brendan Avent, Aurélien Bellet, Mehdi Bennis, Arjun Nitin Bhagoji, Keith Bonawitz, Zachary Charles, Graham Cormode, Rachel Cummings, Rafael G. L. D'Oliveira, Salim El Rouayheb, David Evans, Josh Gardner, Zachary Garrett, Adriana Gascón, Badih Ghazi, Phillip B. Gibbons, Marco Gruteser, Zaid Harchaoui, Chaoyang He, Lie He, Zhouyuan Huo, Ben Hutchinson, Justin Hsu, Martin Jaggi, Tara Javidi, Gauri Joshi, Mikhail Khodak, Jakub Konečný, Aleksandra Korolova, Farinaz Koushanfar, Sanmi Koyejo, Tengyu Ma, Hamid Mahdavifar, Brendan McMahan, S. Muthukrishnan, Dieter van Melkebeek, Ameet Talwalkar, Virginia Smith, Abhradeep Thakurta, Florian Tramèr, Zheng Tracy Ke, H. V. Jagadish, and Venkatesh Saligrama from various institutions.
  • “Communication-Efficient Learning of Deep Networks from Decentralized Data” by H. Brendan McMahan and others from Google AI.
  • “Federated Learning for Mobile Keyboard Prediction” by Daniel J. Beutel, M. Brandon Westover, Brian Jalaian, Susan L. Murphy, and Samuel G. Finlayson from Harvard Medical School and Google Research.

论文摘要：本文提出了一种新的解决聚类联邦学习问题的方法，该方法受到共识优化（CBO）思想的启发。在聚类联邦学习中，假设用户之间存在未知的群组结构，目标是为每个群组训练有用的模型，而不是为所有用户训练单个全局模型。我们的新CBO类型方法基于一组相互作用的粒子系统，不考虑群组成员身份。我们的模型得到了严格的数学推理支持，包括描述我们的粒子系统的大量粒子极限的平均场分析，以及在平均场区域中对一般非凸目标函数（对应于每个用户群集的损失函数）的同时全局优化的收敛保证。实验结果表明，与其他最先进的方法相比，我们的FedCBO算法的有效性得到了证明，并有助于验证我们的方法论和理论工作。

内容中包含的图片若涉及版权问题，请及时与我们联系删除