Mitigating Disparate Impact of Differential Privacy in Federated Learning through Robust Clustering

联邦学习（FL）是一种分散式机器学习（ML）方法，它将数据保持本地化，并经常采用差分隐私（DP）来增强隐私保证。与先前关于ML中DP的工作类似，我们观察到差分隐私联邦学习（DPFL）引入了性能差异，特别是影响少数群体。最近的工作尝试通过聚类来解决普通FL中的性能公平性问题，但这种方法仍然敏感且容易出错，而DPFL中的DP噪声进一步加剧了这种情况。为填补这一空白，本文提出了一种新的聚类DPFL算法，旨在在高度异构的环境中有效地识别客户端的聚类，同时保持DP保证的高准确性。为此，我们建议基于客户端的模型更新和训练损失值对客户端进行聚类。我们提出的方法还通过采用较大的批处理大小以及高斯混合模型（GMM）来缓解服务器在聚类客户端模型更新时的不确定性，从而减少噪声和潜在的聚类错误的影响，特别是在隐私敏感的情况下。我们提供了对我们提出的方法有效性的理论分析。我们还在不同的数据分布和隐私预算下广泛评估了我们的方法，并展示了其在减轻DP在FL设置中的不平等影响方面的有效性，同时具有小的计算成本。

解决问题：本文旨在提出一种新的聚类差分隐私联邦学习算法，以解决差分隐私在联邦学习中的不公平性问题，特别是对少数群体的影响。

关键思路：本文提出的算法基于模型更新和训练损失值来对客户端进行聚类，并采用较大的批次大小和高斯混合模型来减轻噪声和潜在的聚类错误对服务器的影响。

亮点：本文提出的算法在多种数据分布和隐私预算下进行了广泛的评估，证明了其在减轻联邦学习中差分隐私不公平性方面的有效性和低计算成本。值得深入研究。

相关研究：最近的相关研究包括使用聚类来提高联邦学习中的性能公平性，但这种方法仍然敏感且容易出错。