SPEAR:Exact Gradient Inversion of Batches in Federated Learning

联邦学习是一种流行的协作机器学习框架，其中多个客户端仅与服务器共享其本地数据的梯度更新，而不是实际数据。不幸的是，最近发现梯度反演攻击可以从这些共享的梯度重建出数据。现有攻击仅在重要的诚实但好奇设置下的批大小$b=1$时能够进行精确重建，而较大的批只能进行近似重建。在本文中，我们提出了“第一个能够精确重建批大小$b>1$的算法”。这种方法结合了对梯度明确低秩结构的数学洞见和基于采样的算法。关键是，我们利用ReLU引起的梯度稀疏性来精确过滤大量不正确的样本，从而使最终的重建步骤可行。我们为全连接网络提供了高效的GPU实现，并展示了它可以精确恢复$b \lesssim 25$元素的批次，同时对于大型网络宽度和深度也是可行的。

本论文试图解决联邦学习中的梯度逆推攻击问题，提出了一种能够精确重构整个批次的算法。

论文中的关键思路是结合梯度的低秩结构和基于采样的算法，利用ReLU引起的梯度稀疏性过滤错误的样本，从而使最终的重构步骤变得可行。

论文提出的算法能够精确重构整个批次的数据，而不仅仅是单个数据点，这是之前的研究所没有做到的。作者还提供了一个针对全连接网络的高效GPU实现，并展示了在大网络宽度和深度的情况下，能够精确恢复批次大小为25个元素以内的数据。此外，作者还提供了开源代码。

最近的相关研究包括：《Federated Learning with Matched Averaging》、《Privacy-Preserving Federated Brain Tumour Segmentation》、《Federated Learning with Non-IID Data》等。