虎牙 | PD-GAN：用于图像补全的概率多样GAN

论文标题：PD-GAN: Probabilistic Diverse GAN for Image Inpainting

论文链接：https://arxiv.org/abs/2105.02201

代码链接：https://github.com/KumapowerLIU/PD-GAN

作者单位：虎牙 & 香港城市大学 & 湖南大学 & 腾讯AI Lab

表现SOTA！性能优于PICNet、EC等网络，并提出归一化新方法：SPDNorm，代码即将开源！

我们提出PD-GAN，这是一种用于图像补全/修复的概率多样GAN。给定具有任意孔区域的输入图像，PD-GAN会产生具有多种多样且视觉逼真的内容的多种修复结果。我们的PD-GAN建立在原GAN的基础上，该原GAN会基于随机噪声生成图像。在图像生成期间，我们通过注入初始恢复的图像和多尺度的孔区域，从粗到细地调制输入随机噪声的深层特征。我们认为，在孔填充期间，孔边界附近的像素应更具确定性（即，更有可能信任上下文并最初还原图像以创建自然的修复边界），而位于孔中心的那些像素应享有更多的像素性。自由度（即，更可能依赖于随机噪声来增强分集）。为此，我们提出了调制内部的空间概率分集归一化（SPDNorm），以模拟根据上下文信息生成像素的概率。 SPDNorm动态平衡孔区域内部的真实性和多样性，从而使生成的内容朝向孔中心更加多样化，并且更加类似于邻近图像内容朝向孔边界。同时，我们提出了一种感知上的多样性损失，以进一步增强PD-GAN进行多样化内容生成的能力。对包括CelebA-HQ，Places2和Paris Street View在内的基准数据集进行的实验表明，PD-GAN可有效实现多种视觉逼真的图像恢复。