德国锡根大学 | 反转梯度：联合学习中隐私特征被攻击的可能性

【文章名称】Inverting Gradients - How easy is it to break privacy in federated learning? 【作者团队】Jonas Geiping Hartmut Bauermeister Hannah Dröge Michael Moeller 【发表时间】 NeurIPS 2020 【论文链接】https://proceedings.neurips.cc//paper/2020/file/c4ede56bbd98819ae6112b20ac6bf145-Paper.pdf

【推荐理由】 文章针对目前深度学习模型在训练过程中参数包含隐私信息的问题进行了一系列研究，证明了联合学习中隐私被攻击的可能性。 文章首先使用了联合学习的方法训练神经网络，该方法的思想是在服务器上协同训练神经网络，每个网络分部接收网络的当前权重，然后再根据本地数据发送参数，更新权重，这样可以将输入参数保留在本地设备中，只共享参数梯度。但是即便如此，网络中的参数隐私依旧有被攻击的可能性，所以文章给出了一种基于梯度余弦相似性的参数隐私攻击，对目前常见的神经网络训练进行实验，发现从图像的参数梯度向量中重建高分辨率图像具有一定的可能性，此外还证明了训练完成的深层网络依旧可以重建原始图像。

图1 图像重建过程图

如图1所示为模型重建过程中单图像结果，其中每张图中信息的泄露主要取决于图像内容，当遇到高隐私等级时重建比较困难，同时一部分图像中的位置信息发生了丢失现象。 文章主要证明了隐私并不是联合学习等协作学习算法的固有属性，同时保证网络安全的唯一方法依旧是可证明的差异隐私。

内容中包含的图片若涉及版权问题，请及时与我们联系删除