Regeneration Based Training-free Attribution of Fake Images Generated by Text-to-Image Generative Models

最近，由于其能够根据描述生成图像的能力，文本到图像生成模型引起了人们的极大关注。尽管这些模型表现出了很好的性能，但人们仍然对生成的虚假图像的潜在滥用提出了担忧。为了解决这个问题，我们提出了一种简单而有效的无需训练的方法，将文本到图像模型生成的虚假图像归因于它们的源模型。给定一个待归因的测试图像，我们首先反向重构图像的文本提示，然后将重构的提示放入不同的候选模型中，重新生成候选虚假图像。通过计算和排名测试图像和候选图像的相似性，我们可以确定图像的来源。这种归因使得模型所有者能够对其模型的任何滥用负责。需要注意的是，我们的方法不限制候选文本到图像生成模型的数量。全面的实验表明：（1）我们的方法可以有效地将虚假图像归因于它们的源模型，实现了与最先进方法相当的归因性能；（2）我们的方法具有高可扩展性，非常适合于现实世界的归因场景；（3）所提出的方法对常见攻击，如高斯模糊、JPEG压缩和调整大小，具有较高的鲁棒性。我们还分析了影响归因性能的因素，并探讨了所提出的方法作为插件来改善现有最先进技术的性能所带来的提升。我们希望我们的工作能够为解决AI生成图像的来源问题提供一些解决方案，以及预防文本到图像生成模型的滥用。

如何追溯生成图像的来源，以防止文本到图像生成模型被滥用？

通过逆向文本提示并将重构的提示放入候选模型中重新生成候选假图像，计算并排名测试图像和候选图像的相似性，以确定图像的来源。

论文提出了一种简单而有效的无需训练的方法，可以将生成的假图像归因于其源模型，并且可以适用于不限数量的文本到图像生成模型。实验结果表明，该方法具有良好的可扩展性和鲁棒性，并且可以作为插件用于提高现有SOTA的性能。

最近的相关研究包括：'Generative Adversarial Networks'、'Image-to-Image Translation with Conditional Adversarial Networks'、'StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks'等。