SPEAR:Exact Gradient Inversion of Batches in Federated Learning

联邦学习是一种协作式机器学习框架，客户端只与服务器共享梯度更新而不共享私人数据。然而，最近发现梯度反演攻击可以从共享的梯度中重构出数据。在重要的诚实但好奇设置中，现有的攻击只能允许批处理大小为$b=1$的精确重构，而更大的批处理只能允许近似重构。在这项工作中，我们提出了SPEAR，这是第一个可以精确重构批处理大小为$b>1$的算法。SPEAR结合了对梯度的显式低秩结构的深入理解和基于采样的算法。关键是，我们利用了ReLU引起的梯度稀疏性，可以精确过滤大量不正确的样本，从而使最终的重构步骤变得可行。我们为全连接网络提供了高效的GPU实现，并展示了它可以在批处理大小为$b \lesssim 25$的情况下精确恢复高维的ImageNet输入，同时可以扩展到大型网络。最后，我们理论上证明，只要给予指数时间，就可以高概率地重构出更大的批次。

本论文旨在解决联邦学习中的梯度反演攻击问题，尤其是在批量大小大于1的情况下的精确重构问题。

论文提出了一种基于低秩结构和采样算法的算法SPEAR，利用ReLU引起的梯度稀疏性来滤除大量不正确的样本，从而实现对大批量数据的精确重构。

论文提供了一个针对完全连接网络的高效GPU实现，并展示了它在批量大小为25的情况下可以精确恢复高维度的ImageNet输入。此外，论文还理论上证明，给定指数时间，可以高概率地重构更大的批量。

在联邦学习中，最近还有其他相关的研究，如FedAvg、FedProx、FedMA等。