Old Photo Restoration via Deep Latent Space Translation

论文链接：https://arxiv.org/abs/2009.07047

本文方法在老照片修复的视觉质量方面展示了优于最新方法和现有商业工具的优越性能。注：原团队发表了一篇CVPR 2020(Oral)，貌似这篇应该补充到某顶刊了！作者单位：香港城市大学, 微软, 中科大

我们提出通过深度学习方法还原遭受严重退化的老照片。与可以通过监督学习解决的常规还原任务不同，真实照片的退化很复杂，并且合成图像和真实旧照片之间的域差距使网络无法泛化。因此，我们通过利用真实照片和大量合成图像对来提出一种新颖的triplet 域转换网络。具体来说，我们训练两个变体自动编码器（VAE）将旧照片和干净照片分别转换为两个潜在空间。并使用合成配对数据学习这两个潜在空间之间的转换。由于domain gap在紧凑的潜伏空间中是封闭的，因此这种转换可以很好地概括真实照片。此外，为了解决一张旧照片中混合的多种退化问题，我们设计了一个全局分支，该分支具有针对结构化缺陷（例如划痕和灰尘斑点）的局部非局部块，而针对非结构化缺陷（例如噪声和模糊度）的局部分支。在潜在空间中融合了两个分支，从而提高了从多个缺陷还原旧照片的能力。此外，我们应用另一个人脸优化网络来恢复旧照片中人脸的精细细节，从而最终生成具有增强感知质量的照片。通过全面的实验，提出的pipeline在老照片还原的视觉质量方面展示了优于最新方法和现有商业工具的优越性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除