Puff-Net: Efficient Style Transfer with Pure Content and Style Feature Fusion Network

风格迁移的目的是在保持原始结构的同时，渲染出具有风格图像艺术特征的图像。虽然已经提出了各种方法来完成这项任务，但仍然存在一些挑战。例如，基于卷积神经网络的方法难以处理输入图像之间的全局信息和长距离依赖，因此提出了基于transformer的方法。虽然transformer可以更好地建模内容和风格图像之间的关系，但需要高成本的硬件和耗时的推理。为了解决这些问题，我们设计了一种新颖的transformer模型，仅包括编码器，从而显著降低了计算成本。此外，我们还发现现有的风格迁移方法可能会导致图像缺失内容或风格不足。为了实现更好的风格化，我们设计了一个内容特征提取器和一个风格特征提取器，基于这两个提取器，可以将纯内容和风格图像输入到transformer中。最后，我们提出了一种新颖的网络，称为Puff-Net，即纯内容和风格特征融合网络。通过定性和定量实验，我们证明了我们的模型相对于文献中现有的最先进模型的优势。

本论文旨在解决风格迁移中存在的一些问题，如CNN方法难以处理全局信息和长距离依赖关系，transformer方法需要高成本硬件和耗时推理等。同时，现有的风格迁移方法可能导致图像缺失内容或不够艺术化。

论文提出了一种新型的transformer模型，仅包括编码器部分，从而显著降低了计算成本。同时，设计了内容特征提取器和风格特征提取器，基于此可以将纯内容和风格图像输入transformer。最后，提出了一种名为Puff-Net的新型网络，通过定量和定性实验证明了该模型相比现有方法的优势。

论文设计了一种新型的transformer模型，并提出了Puff-Net网络。实验使用了常见的数据集，并与现有方法进行了比较。论文开源了代码。

最近的相关研究包括：'A Neural Algorithm of Artistic Style'，'Image Style Transfer Using Convolutional Neural Networks'等。