论文标题： Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding 

论文链接：https://arxiv.org/abs/2203.00867

作者单位：复旦大学

近年来，图像修复取得了重大进展。然而，恢复具有生动纹理和合理结构的损坏图像仍然具有挑战性。由于卷积神经网络 (CNN) 的感受野有限，一些特定的方法只能处理常规纹理，而会丢失整体结构。另一方面，基于注意力的模型可以学习更好的结构恢复的远程依赖，但它们受到大图像尺寸推理的大量计算的限制。为了解决这些问题，我们建议利用额外的结构恢复器来逐步促进图像修复。所提出的模型在固定的低分辨率草图空间中使用强大的基于注意力的Transformer模型来恢复整体图像结构。这样的灰度空间很容易被上采样到更大的尺度以传达正确的结构信息。我们的结构恢复器可以通过零初始化残差添加有效地与其他预训练的修复模型集成。此外，使用掩蔽位置编码策略来提高大型不规则掩码的性能。与其他竞争对手相比，对各种数据集的广泛实验验证了我们模型的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除