Rethink Arbitrary Style Transfer with Transformer and Contrastive Learning

任意风格转换在研究中引起了广泛关注，并拥有众多实际应用。现有的方法，要么使用交叉注意力将深度风格属性纳入内容属性，要么使用自适应归一化来调整内容特征，但都无法生成高质量的风格化图像。本文介绍了一种创新技术来提高风格化图像的质量。首先，我们提出了Style Consistency Instance Normalization（SCIN）方法，用于改善内容和风格特征之间的对齐。此外，我们还开发了一种基于实例的对比学习（ICL）方法，旨在理解各种风格之间的关系，从而提高结果风格化图像的质量。我们认识到VGG网络更擅长提取分类特征，需要更适合于捕捉风格特征，因此我们还引入了Perception Encoder（PE）来捕捉风格特征。广泛的实验表明，与现有最先进的方法相比，我们提出的方法生成高质量的风格化图像，并有效地防止了伪影的出现。

本论文试图提出一种创新的技术来改善风格转移图像的质量，解决现有方法在生成高质量风格化图像方面存在的问题。

论文提出了Style Consistency Instance Normalization（SCIN）和Instance-based Contrastive Learning（ICL）两种方法来改进内容和风格特征之间的对齐，并增强不同风格之间的关系，从而提高风格化图像的质量。此外，引入Perception Encoder（PE）来捕捉风格特征。

论文通过实验验证了所提出方法的有效性和优越性，并与现有最先进方法进行了比较。实验使用了多个数据集，并且开源了代码。此外，论文提出的方法还可以防止生成图像中的伪影。

在最近的研究中，也有许多关于风格转移的相关研究，如《A Neural Algorithm of Artistic Style》和《Unsupervised Image-to-Image Translation Networks》等。