Recovering Labels from Local Updates in Federated Learning

Gradient inversion（GI）攻击对联邦学习（FL）中的客户隐私构成威胁，因为它旨在通过通信的模型更新来使客户数据重建。许多这样的技术试图通过首先重建本地训练中使用的样本的标签来加速数据恢复。然而，现有的标签提取方法通常做出强烈的假设，这些假设在现实的FL设置中通常不成立。本文提出了一种新的标签恢复方案，从本地更新中恢复标签（RLU），该方案在攻击未经训练（最易受攻击）的模型时提供接近完美的准确性。更重要的是，当FL系统中的客户端运行多个本地时期、训练异构数据并使用各种优化器来最小化不同的目标函数时，RLU在现实世界的真实环境中也能取得高性能。具体而言，RLU通过解决一个最小二乘问题来估计标签，该问题源于分析训练轮中使用的数据点的标签和输出层的结果更新之间的相关性。在几个数据集、架构和数据异构性场景上的实验结果表明，所提出的方法始终优于现有基线，并有助于提高GI攻击中重建图像的质量，无论是在PSNR还是LPIPS方面。

本论文旨在解决联邦学习中梯度反演攻击对客户隐私的威胁，通过提出一种新的标签恢复方案RLU，提高恶意攻击者从模型更新中重建客户数据的难度。

RLU通过分析训练轮中使用的数据点标签与输出层更新之间的相关性，解决了标签提取方法在现实世界中的局限性，提出了一个基于最小二乘问题的标签估计方法。该方法在攻击未训练的模型时表现出接近完美的准确性，且在现实世界中的联邦学习设置中也能取得高性能。

该论文在多个数据集、架构和数据异质性方案上进行了实验，结果表明RLU方法始终优于现有基线，并且在PSNR和LPIPS方面提高了恢复图像的质量。此外，该论文还提供了开源代码。

最近的相关研究包括：1. Federated Learning with Matched Averaging，2. Secure Federated Learning on Curves，3. Federated Learning with Non-IID Data。