Delving into Differentially Private Transformer

使用差分隐私的深度学习近年来受到了广泛关注，导致出现了许多旨在提高模型准确性和训练效率的方法。本文深入研究了使用差分隐私训练Transformer模型的问题。我们的处理方式是模块化的：逻辑是将训练DP Transformer的问题“简化”为训练DP普通神经网络的更基本问题。后者更容易理解，并且适用于许多与模型无关的方法。这种“简化”是通过首先确定DP Transformer训练中独特的困难：注意力分散现象和与现有的高效梯度裁剪技术不兼容来实现的。为了解决这两个问题，我们提出了重新注意机制和幻影裁剪。我们认为，我们的工作不仅为训练DP Transformer提供了新的思路，而且促进了差分隐私深度学习领域的模块化处理，推动了该领域的研究进展。

本论文旨在解决如何使用差分隐私（DP）训练Transformer模型的问题。在此过程中，作者发现了注意力分散现象和与现有梯度剪裁技术不兼容的问题。

论文提出了Re-Attention机制和Phantom Clipping方法，以应对DP Transformer训练中的注意力分散和梯度剪裁问题。通过将DP Transformer训练问题降维到DP普通神经网络训练问题，作者提出了一种模块化的处理方法。

论文的实验结果表明，提出的Re-Attention机制和Phantom Clipping方法可以显著提高DP Transformer模型的训练效率和准确性。论文使用了WMT'14英语-德语数据集进行实验，并在Github上开源了代码。

最近的相关研究包括：Towards Accurate and Private Model Serving，Differentially Private Federated Learning: A Client Level Perspective，Differentially Private Learning with Adaptive Clipping。