DAGER: Exact Gradient Inversion for Large Language Models

联邦学习通过聚合多个客户端本地计算的梯度来进行协作训练，从而无需共享私人客户端数据。然而，之前的研究表明，使用所谓的梯度反演攻击，服务器实际上可以恢复数据。虽然这些攻击在图像上表现良好，但在文本领域受到限制，只能近似重建小批量和短输入序列。在本文中，我们提出了DAGER算法，它是第一个能够精确恢复整个批量输入文本的算法。DAGER利用自注意力层梯度的低秩结构和标记嵌入的离散性质，有效地检查给定的标记序列是否是客户端数据的一部分。我们使用这个检查来在诚实但好奇的设置下精确恢复编码器和解码器架构的完整批次，而且不需要对数据进行任何先验。我们分别使用穷举启发式搜索和贪婪方法，为DAGER提供了高效的GPU实现，并在实验中展示了它在大型语言模型（LLMs）上恢复128个完整批次的能力，速度比之前的攻击快20倍，可扩展性更强（批次大小10倍），重建质量更高（ROUGE-1/2 > 0.99）。

提出DAGER算法，解决联邦学习中梯度反演攻击可恢复原始数据的问题。

利用注意力层梯度的低秩结构和离散的token嵌入，通过启发式搜索和贪心算法准确恢复客户端数据，实现对整个批次文本的恢复。

DAGER算法能够高效地恢复大型语言模型的完整批次，速度快、可扩展性强、重构质量高。作者提供了GPU实现，并在实验中使用了ROUGE-1/2评价指标。

之前的工作已经证明了梯度反演攻击可恢复图像数据，但在文本领域受到限制。