How to Trace Latent Generative Model Generated Images without Artificial Watermark?

潜在生成模型（例如Stable Diffusion）变得越来越流行，但人们对这些模型生成的图像的潜在滥用产生了担忧。因此，有必要分析图像的来源，推断特定图像是否由特定的潜在生成模型生成。大多数现有方法（例如图像水印和模型指纹）需要在训练或生成过程中进行额外的步骤。这些要求限制了它们在没有这些额外操作的生成图像上的使用，并且额外所需的操作可能会影响生成图像的质量。在这项工作中，我们探讨了一种不需要上述要求就能有效和高效地追踪由特定潜在生成模型生成的图像的方法。为了研究这个问题，我们设计了一种基于潜在反演的方法，称为LatentTracer，通过检查检查的图像是否可以用反演的潜在输入进行良好的重建来追踪检查模型生成的图像。我们利用基于梯度的潜在反演，并确定了一个基于编码器的初始化对我们方法的成功至关重要。我们对最先进的潜在生成模型（如Stable Diffusion）进行的实验表明，我们的方法可以高精度、高效地区分由检查模型生成的图像和其他图像。我们的发现表明，当今的潜在生成生成的图像自然地带有源模型中使用的解码器的水印。代码：https://github.com/ZhentingWang/LatentTracer。

论文旨在解决通过推断图像的生成方式来追踪潜在生成模型的问题，以避免这些模型可能被滥用的担忧。同时，该方法不需要在训练或生成过程中进行额外的操作。

该论文提出了一种基于潜在反演的方法，称为LatentTracer，通过检查测试图像是否可以通过反演的潜在输入进行良好重建来追踪被检查模型生成的图像。该方法利用梯度反演，并确定了基于编码器的初始化对其成功至关重要。

该论文在当今最先进的潜在生成模型（如稳定扩散）上进行了实验，表明该方法可以高效准确地区分被检查模型生成的图像和其他图像。该论文的代码已在GitHub上开源。

在这个领域中，最近的相关研究包括图像水印和模型指纹等方法。