Towards Highly Realistic Artistic Style Transfer via Stable Diffusion with Step-aware and Layer-aware Prompt

艺术风格转移旨在将学习到的艺术风格转移到任意内容图像上，生成艺术化风格的图像。现有的基于生成对抗网络的方法无法生成高度逼真的风格化图像，总是引入明显的伪影和不协调的图案。最近，大规模预训练的扩散模型开辟了一种新的生成高度逼真的艺术风格化图像的方法。然而，基于扩散模型的方法通常无法很好地保留输入内容图像的内容结构，引入一些不必要的内容结构和风格图案。为了解决上述问题，我们提出了一种新颖的预训练扩散艺术风格转移方法，称为LSAST，它可以在保留输入内容图像的内容结构的同时生成高度逼真的艺术风格化图像，而不会引入明显的伪影和不协调的风格图案。具体来说，我们引入了一个步骤感知和层感知提示空间，一组可学习的提示，它可以从艺术品的集合中学习风格信息，并动态调整输入图像的内容结构和风格图案。为了训练我们的提示空间，我们提出了一种新颖的反演方法，称为步骤感知和层感知提示反演，它允许提示空间学习艺术品集合的风格信息。此外，我们将一个预训练的ControlNet的条件分支注入到我们的LSAST中，进一步提高了我们框架维护内容结构的能力。广泛的实验表明，我们提出的方法可以比现有的艺术风格转移方法生成更高度逼真的艺术风格化图像。

该论文旨在解决艺术风格转移中存在的生成高度逼真的艺术风格化图像同时保持输入图像内容结构的问题。

论文提出了一种新的预训练扩散艺术风格转移方法，称为LSAST，通过引入可学习提示空间，动态调整输入图像的内容结构和风格模式，从而生成高度逼真的艺术风格化图像。

论文提出了Step-aware和Layer-aware Prompt Space，一组可学习提示，用于从艺术品集合中学习风格信息，并动态调整输入图像的内容结构和风格模式。同时，论文还提出了一种新的反演方法，称为Step-ware和Layer-aware Prompt Inversion，用于训练提示空间。此外，论文还将预训练的ControlNet条件分支注入到LSAST中，进一步提高了该框架保持内容结构的能力。

与该论文相关的其他研究包括：Neural Style Transfer via Meta Networks、A Closed-form Solution to Universal Style Transfer、Adaptive Instance Normalization等。