论文链接:https://www4.comp.polyu.edu.hk/~cslzhang/paper/LPTN-cvpr21-paper.pdf 

代码链接: https://github.com/csjliang/LPTN

本文是香港理工大学的张磊团队在image-to-image translation方面继3DLUT之后的又一力作。本文创造性的将拉普拉斯金字塔与深度学习进行了结合,对于拉普拉斯金字塔的分离、重建特性与image-to-image translation之间的共通之处进行了分析,进而提出了本文的LPTN。所提LPTN可以在一个常规GPU上对4K分辨率图像进行实时变换,同时取得与其他方案相当甚至更优的性能。

现有image-to-image translation(I2IT)往往要求使用低分辨率图像,这是因为高分辨率图像会导致过大的内存占用与更长的推理耗时。

本文旨在通过拉普拉斯金字塔分解、重建加速高分辨率图像I2IT。具体来说,我们揭示了:属性变换(比如亮度、色彩)与低频成分更相关,而内容细节可以自适应在高频成分上调节。因此,我们提出了Laplacian Pyramid Translation Network(LPTN)同时进行这两个任务:我们设计了一个轻量网络在低分辨率上对低频成分进行变换,然后再词用渐进式掩码策略调整高频部分。所提模型可以避免高分辨率特征图导致的重度计算量问题,同时可以忠实的保持图像细节。

不同任务上的实验结果表明:所提方法可以在一个常规GPU上实时处理4K图像并取得同现有方案相当的性能。

内容中包含的图片若涉及版权问题,请及时与我们联系删除