QBI: Quantile-based Bias Initialization for Efficient Private Data Reconstruction in Federated Learning

联邦学习使得机器学习模型能够在分布式数据上进行训练，同时不会危及用户隐私，因为数据仍然存储在个人设备上，只有模型更新（如梯度）与中央协调器共享。然而，最近的研究表明，中央实体可以通过恶意初始化模型参数，完美地重构共享模型更新的私人数据。在本文中，我们提出了一种新的偏差初始化方法QBI，它显著提高了重构能力。这是通过直接求解偏差值，得到稀疏激活模式来实现的。此外，我们提出了一种算法PAIRS，它建立在QBI之上。当目标域中有一个单独的数据集可用时，PAIRS可以被部署以进一步增加可以完全恢复的数据比例。通过测量各种批次大小的样本可以完美重构的百分比，我们的方法在ImageNet上获得了高达50%的提高，在IMDB情感分析文本数据集上获得了高达60%的提高。此外，我们建立了基于随机梯度稀疏性的攻击的理论限制，为了解这些攻击的基本限制提供了基础。我们使用合成数据集对这些限制进行了实证评估。最后，我们提出并评估了AGGP，这是一个防御性框架，旨在防止梯度稀疏攻击，为开发更安全、更私密的联邦学习系统做出贡献。

本文旨在解决联邦学习中隐私泄露问题，通过提出一种新的偏置初始化方法和算法来增强恶意攻击者的重构能力。

本文提出了QBI偏置初始化方法和PAIRS算法，通过直接求解偏置值来产生稀疏激活模式，从而显著提高了重构能力。此外，PAIRS算法还可以利用目标领域的另一个数据集来进一步提高完全恢复数据的百分比。

本文的实验结果表明，与先前的方法相比，该方法在ImageNet和IMDB情感分析文本数据集上的提升高达50％和60％。此外，本文还提出了AGGP防御框架，用于防止梯度稀疏攻击，为开发更安全和私密的联邦学习系统做出了贡献。

最近的相关研究包括：Federated Learning with Differential Privacy、Federated Learning: Strategies for Improving Communication Efficiency等。