UPAM: Unified Prompt Attack in Text-to-Image Generation Models Against Both Textual Filters and Visual Checkers

本文提出了一种新的框架UPAM，旨在从攻击的角度调查T2I模型的鲁棒性，因为T2I模型可能会生成不适当或有害的图像，引发安全问题。与大多数现有的攻击方法侧重于欺骗文本防御不同，UPAM旨在欺骗T2I模型中的文本和视觉防御。UPAM采用基于梯度的优化，比以前的方法更有效和高效。由于T2I模型可能由于防御机制而无法返回结果，因此我们引入了球探学习（SPL）方案，以支持梯度优化，即使没有返回结果也可以进行。此外，我们设计了一种语义增强学习（SEL）方案，以微调UPAM以生成目标对齐的图像。我们的框架还确保攻击隐秘性。大量实验证明了UPAM的有效性和效率。

本文旨在解决文本到图像（T2I）模型的安全问题，探究T2I模型的鲁棒性，从攻击的角度出发，对抗T2I模型的文本和视觉防御机制。

本文提出了一个新的框架UPAM，通过梯度优化方法，旨在欺骗T2I模型的文本和视觉防御机制，同时引入Sphere-Probing Learning（SPL）方案，确保即使没有结果返回，也能支持梯度优化，同时利用Semantic-Enhancing Learning（SEL）方案，对生成的图像进行微调，以生成与目标对齐的图像。

本文的亮点在于提出了一个新的框架UPAM，可以有效地对抗T2I模型的文本和视觉防御机制，同时引入了SPL和SEL方案，以支持梯度优化和生成目标对齐的图像。实验结果表明，该框架具有很高的效率和准确性。

近期在T2I领域的相关研究包括：1.《Generative Adversarial Text to Image Synthesis》；2.《AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks》；3.《MirrorGAN: Learning Text-to-image Generation by Redescription》等。