Privacy-Preserving Diffusion Model Using Homomorphic Encryption

本文介绍了一种名为HE-Diffusion的隐私保护稳定扩散框架，利用同态加密技术，主要关注扩散过程中的去噪阶段的保护。HE-Diffusion是一个定制的加密框架，专门设计以与稳定扩散的独特架构相匹配，确保隐私和功能性。为了解决固有的计算挑战，我们提出了一种新颖的最小失真方法，使得部分图像加密更加高效，显著降低了开销，而不会影响模型的输出质量。此外，我们采用了稀疏张量表示来加快计算操作，增强了隐私保护扩散过程的整体效率。我们成功地实现了基于HE的隐私保护稳定扩散推断。实验结果表明，与基线方法相比，HE-Diffusion的速度提高了500倍，并将同态加密推断的时间成本降低到分钟级别。HE-Diffusion的性能和准确性与明文对应物相当。我们的方法是将先进的加密技术与最先进的生成模型相结合，为关键应用中的隐私保护和高效图像生成铺平了道路，标志着一个重要的进步。

论文旨在提出一种隐私保护的稳定扩散框架，使用同态加密保护扩散过程的去噪阶段。

论文提出了一种定制的加密框架，名为HE-Diffusion，专门设计用于与稳定扩散的独特架构相匹配，确保隐私和功能性。为了解决固有的计算挑战，论文提出了一种新的最小失真方法，可以实现高效的部分图像加密，显著降低开销而不影响模型的输出质量。此外，论文采用了稀疏张量表示来加快计算操作，提高了隐私保护扩散过程的整体效率。

论文成功实现了基于同态加密的隐私保护稳定扩散推断，实验结果表明，与基线方法相比，HE-Diffusion实现了500倍的加速，并将同态加密推断的时间成本降低到分钟级别。HE-Diffusion的性能和准确性与明文版本相当。

最近的相关研究包括使用同态加密保护深度学习模型的方法，例如SecureML和CryptoNets。