DiffuseTrace: A Transparent and Flexible Watermarking Scheme for Latent Diffusion Model

LDM（潜在扩散模型）具有广泛的应用，但涉及非法利用的伦理问题。将水印添加到生成模型输出是一种重要的技术，用于版权跟踪和减轻与AI生成内容相关的潜在风险。然而，事后加水印技术容易被规避。现有的LDM水印方法只能嵌入固定信息。更改水印消息需要重新训练模型。水印的稳定性受模型更新和迭代的影响。此外，利用变分自编码器（VAE）和扩散模型的基于重构的水印去除技术具有去除大部分水印的能力。因此，我们提出了一种新的技术，称为DiffuseTrace。其目标是在所有生成的图像中嵌入不可见的水印，以便将来进行语义检测。该方法通过训练一个编码器-解码器模型来建立初始潜在变量和水印信息的统一表示。水印信息通过编码器嵌入到初始潜在变量中，并集成到采样过程中。通过反向扩散过程和利用解码器提取水印信息。DiffuseTrace不依赖于扩散模型组件的微调。水印在不影响图像质量的情况下语义地嵌入到图像空间中。编码器-解码器可以作为插件在任意扩散模型中使用。我们通过实验证实了DiffuseTrace的有效性和灵活性。DiffuseTrace在对抗基于变分自编码器和扩散模型的最新攻击方面具有前所未有的优势。

该论文的问题是如何在生成模型的输出中添加水印以进行版权跟踪和减轻AI生成内容所带来的潜在风险，同时解决现有水印技术无法嵌入可变信息的问题。

该论文的关键思路是使用DiffuseTrace技术在生成的所有图像中嵌入不可见水印以进行语义检测。该方法通过训练一个编码器-解码器模型建立初始潜变量和水印信息的统一表示，并通过编码器将水印信息嵌入到初始潜变量中，然后将其集成到采样过程中。水印信息通过反向扩散过程并利用解码器进行提取。

该论文的亮点在于DiffuseTrace技术能够在不牺牲图像质量的情况下，将水印语义地嵌入到图像空间中。编码器-解码器可以作为插件用于任意扩散模型中。该论文还通过实验证实了DiffuseTrace的有效性和灵活性，并展示了其在对抗性攻击方面的优势。

最近在这个领域中，还有一些相关研究，如基于VAE和扩散模型的去水印技术等。