Safe-SD: Safe and Traceable Stable Diffusion with Text Prompt Trigger for Invisible Generative Watermarking

最近，稳定扩散（SD）模型在图像合成和个性化编辑领域迅速发展，成功生成了一系列逼真的前所未有的图像。因此，人们对开发和使用各种基于SD的工具进行视觉内容创作产生了广泛的兴趣。然而，AI创建的内容在公共平台上的曝光可能会带来法律和道德风险。在这方面，传统的将水印添加到已生成的图像上的方法（即后处理）可能会面临版权保护和内容监控方面的困境（例如被删除或修改），因为强大的图像反演和文本到图像编辑技术已经在SD-based方法中被广泛探索。在这项工作中，我们提出了一个安全且高可追溯的稳定扩散框架（即Safe-SD），在生成扩散过程中自适应地将图形水印（例如QR码）植入不可察觉的与结构相关的像素中，以支持基于文本的隐形水印和检测。与之前的高成本注入-检测训练框架不同，我们设计了一个简单而统一的架构，使得同时训练水印注入和检测成为可能，极大地提高了使用的效率和便利性。此外，为了进一步支持基于文本的生成性水印，并深入探索其鲁棒性和高可追溯性，我们精心设计了lambda采样和加密算法，以微调由VAE包裹的潜在扩散器，以平衡高保真图像合成和高可追溯的水印检测。我们在两个代表性数据集LSUN、COCO和FFHQ上展示了我们的定量和定性结果，展示了Safe-SD的最新性能，并显示它明显优于以前的方法。

解决AI生成图片的版权保护和内容监控问题，提出一种安全的、高可追溯的基于稳定扩散的数字水印嵌入和检测方法

在生成扩散过程中，将数字水印嵌入到结构相关的像素中，实现文本驱动的隐形水印嵌入和检测，并设计了lambda采样和加密算法，使得生成的图片既具有高保真度又具有高可追溯性

论文提出的Safe-SD方法在LSUN、COCO和FFHQ数据集上取得了最先进的性能，相比之前的方法具有更高的效率和便捷性，同时还提供了lambda采样和加密算法等新的思路和方法

与该论文相关的研究包括基于GAN的图像生成、图像水印嵌入和检测等方向的研究，例如“Generative Adversarial Nets”、“Towards Robust and Hidden Watermarking in Deep Neural Networks”等