Improving Robustness to Model Inversion Attacks via Sparse Coding Architectures

最近的模型反演攻击算法可以通过反复查询神经网络并检查其输出来重构网络的私有训练数据。在这项工作中，我们开发了一种新的网络架构，利用稀疏编码层来获得对这类攻击更强的鲁棒性。三十年的计算机科学研究已经研究了稀疏编码在图像去噪、物体识别和对抗误分类等方面的应用，但据我们所知，它与最先进的隐私漏洞之间的联系尚未被研究。然而，稀疏编码结构表明，它们可以有效地防御模型反演攻击，因为它们允许我们控制编码在网络中间表示中的不相关私人信息的数量，这可以在训练期间高效计算，并且已知对分类准确性影响很小。具体而言，与使用各种最先进的防御方法训练的网络相比，我们的稀疏编码架构在保持可比或更高的分类准确性的同时，将最先进的训练数据重构降低了1.1到18.3倍，覆盖了从CelebA人脸到医学图像和CIFAR-10的5个数据集，以及各种最先进的基于SGD和GAN的反演攻击，包括Plug-&-Play攻击。我们提供了一个聚类准备的PyTorch代码库，以促进研究和标准化防御评估。

如何通过稀疏编码层来提高神经网络的隐私保护能力，防御模型反演攻击？

使用稀疏编码层控制网络中的隐私信息，从而提高网络的鲁棒性。相比当前领域的研究，该论文提出的思路是新颖的。

该论文提出的稀疏编码层网络结构在多个数据集上表现出比当前领域其他防御方法更好的性能，且不会影响分类准确率。作者提供了基于PyTorch的开源代码，方便研究和评估。该论文的工作值得进一步深入研究。

与该论文相关的研究包括模型反演攻击和隐私保护领域的其他防御方法，例如基于差分隐私和生成对抗网络（GAN）的方法。