Artist: Aesthetically Controllable Text-Driven Stylization without Training

扩散模型在去噪过程中混淆了内容和风格的生成，当直接应用于风格化任务时，会导致不良的内容修改。现有的方法难以有效控制扩散模型以满足风格化的审美要求。本文介绍了一个名为“Artist”的无需训练的方法，用于美学地控制预训练扩散模型的内容和风格生成，以实现文本驱动的风格化。我们的关键洞察是将内容和风格的去噪分别解开成独立的扩散过程，同时在它们之间共享信息。我们提出了简单而有效的内容和风格控制方法，抑制无关风格的内容生成，从而产生和谐的风格化结果。广泛的实验表明，我们的方法在实现审美级别的风格化要求方面表现优异，保留了内容图像的复杂细节，并与风格提示相吻合。此外，我们展示了风格化强度从各个角度的高度可控性。代码将被发布，项目主页：https://DiffusionArtist.github.io。

本文旨在通过提出一种新的方法，解决现有的扩散模型在样式化任务中无法有效控制模型以满足审美要求的问题，以及防止直接应用于样式化任务时出现的不良内容修改。

本文提出了一种名为Artist的无需训练的方法，该方法可以对预训练的扩散模型进行内容和风格生成的审美控制，以实现文本驱动的样式化。

本文的关键亮点在于将内容和样式的去噪过程分别分离成不同的扩散过程，同时在它们之间共享信息。作者提出了简单而有效的内容和样式控制方法，可以抑制与样式不相关的内容生成，从而产生和谐的样式化结果。实验结果表明，该方法在保留内容图像的细节和与样式提示的良好对齐方面表现出色，并且具有高度可控性的样式化强度。 作者将代码开源，并提供了项目主页。

在这个领域中，最近的相关研究包括：《A Neural Algorithm of Artistic Style》、《Image Style Transfer Using Convolutional Neural Networks》等。