RoNet: Rotation-oriented Continuous Image Translation

最近，在图像到图像（I2I）转换中，生成不同领域之间平滑连续的图像引起了很多关注。大多数现有方法的基本假设是线性关系，应用于不同方面，包括特征、模型或标签。然而，线性假设很难符合元素维度增加的要求，并且受到必须获得线两端限制的影响。在本文中，我们提出了一种新颖的旋转定向解决方案，并使用图像的风格表示对平面旋转进行连续生成建模，实现了一个名为RoNet的网络。在生成网络中植入旋转模块，以自动学习适当的平面，同时分离图像的内容和风格，从而实现连续生成。为了鼓励逼真的纹理，我们还设计了一种基于补丁的语义风格损失，学习不同领域中相似对象的不同风格。我们在森林场景（复杂的纹理使生成非常具有挑战性）、人脸、街景和iphone2dslr任务上进行了实验。结果验证了我们的方法在视觉质量和连续性方面的优越性。

本文旨在解决图像到图像（I2I）转换中的连续性生成问题。现有的方法大多数都基于线性关系的假设，但这种假设在元素维度增加时难以符合要求，并且需要获得线的两端点。因此，本文提出了一种新颖的基于旋转的解决方案，通过对图像的风格表示进行平面旋转来实现连续生成。

本文的关键思路是通过在生成网络中嵌入旋转模块，自动学习合适的平面，并将图像的内容和风格分离，从而实现连续生成。同时，还设计了一种基于补丁的语义风格损失，以学习不同域中相似对象的不同风格，从而鼓励生成真实纹理。

本文在森林场景、人脸、街景和iphone2dslr任务中进行了实验，结果表明了RoNet方法在视觉质量和连续性方面的优越性。此外，本文还开源了代码。

最近的相关研究包括CycleGAN、StarGAN、MUNIT等。