Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot Artistic Style Transfer

解决问题：本文旨在解决艺术风格迁移中的问题，即当前的Transformer模型在融合内容和风格特征时容易出现内容失真的问题，并且参数量大、训练难度大的问题。同时，本文也尝试在少样本学习场景下进行风格迁移。

关键思路：本文提出了一种新的Transformer模型，称为Master，通过共享参数的方式来减少参数数量，提高训练的稳定性，并且可以通过控制层数来自由调节风格化程度。同时，本文还采用了可学习的缩放操作来保持内容特征之间的相似度，从而避免内容失真的问题。

其他亮点：本文提出了一种元学习的方案，使得模型不仅可以适应任意风格的风格迁移，还可以在少样本学习的场景下进行风格迁移。实验表明，Master模型在零样本和少样本学习场景下均取得了优异的表现。

关于作者：本文的主要作者包括Hao Tang、Songhua Liu、Tianwei Lin、Shaoli Huang、Fu Li、Dongliang He和Xinchao Wang，他们来自中国的多个机构，包括清华大学、北京大学、南京大学等。他们之前的代表作包括：Hao Tang在2019年发表的论文《Multi-Channel Attention Selection GAN with Cascaded Semantic Guidance for Cross-View Image Translation》等。

相关研究：与本文相关的其他研究包括：《A Style-Aware Content Loss for Real-time HD Style Transfer》（作者：Yijun Li等，机构：Adobe Research）和《Fast Photo Style Transfer and Synthesis with Conditional Adversarial Networks》（作者：Sheng-Yu Wang等，机构：National Taiwan University）。

论文摘要：本文介绍了一种名为Master的新型Transformer模型，专门用于风格转换。相比于传统的Transformer，Master模型采用了共享参数的方式，大大减小了参数数量，提高了训练的鲁棒性，并且可以通过在推理过程中自由调整堆叠层数来控制风格化的程度。此外，Master模型还采用了可学习的缩放操作，用于在内容特征和风格特征相互作用之前对内容特征进行缩放，以更好地保留原始相似性并确保风格化质量。本文还提出了一种新颖的元学习方案，使得Master模型不仅可以在任意风格转换的典型设置中工作，还可以通过仅在少量样式的情况下对Transformer编码器层进行微调来适应少样式的情况。本文还首次实现了基于文本引导的少样式风格转换，并通过广泛的实验证明了Master模型在零样式和少样式风格转换设置下的优越性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除