MxT: Mamba x Transformer for Image Inpainting

图像修复，又称图像修补，是计算机视觉中的一个关键任务，旨在使用语义上一致的内容恢复图像中缺失或损坏的区域。该技术需要精确平衡局部纹理复制和全局上下文理解，以确保恢复的图像与其周围环境无缝集成。传统的卷积神经网络（CNN）方法在捕捉局部模式方面很有效，但由于有限的感受野，往往难以处理更广泛的上下文关系。最近的进展已经融合了transformers，利用它们理解全局交互的能力。然而，这些方法面临计算效率低下和难以保持细节的挑战。为了克服这些挑战，我们介绍了MxT，它由提出的混合模块（HM）组成，将Mamba与transformer以协同的方式结合起来。Mamba能够高效地处理具有线性计算成本的长序列，因此是处理长尺度数据交互的理想补充。我们的HM在像素和补丁级别上促进了双层交互学习，极大地增强了模型以重建具有高质量和上下文准确性的图像。我们在广泛使用的CelebA-HQ和Places2-standard数据集上评估了MxT，结果表明它始终优于现有的最先进方法。

论文的问题是图像修复，即如何利用计算机视觉技术恢复缺失或损坏的图像区域，并确保修复后的图像与周围环境无缝融合。这是一个已知的问题，但是传统方法存在局部模式捕捉能力强但全局上下文理解不足的问题，而使用transformers的方法则存在计算效率低和细节损失的问题。

论文的关键思路是引入了MxT，即使用混合模块（HM）将Mamba和transformer相结合，实现像素级和补丁级别的双重交互学习，从而提高图像修复的质量和上下文准确性。Mamba擅长高效处理长序列，与transformer互补，有助于处理长尺度的数据交互。

论文在CelebA-HQ和Places2-standard数据集上进行了评估，结果表明MxT在图像修复方面表现优于现有的最先进方法。实验设计了多种对比实验，包括不同模型的比较、不同数据集的比较以及消融实验等。论文还开源了代码，供其他研究者使用。

在图像修复领域，近期的相关研究还包括：1. Deep Image Prior for Image Inpainting；2. Contextual Residual Aggregation for Ultra High-Resolution Image Inpainting；3. Gated Convolutional Networks for Image Inpainting；4. Free-Form Image Inpainting with Gated Convolution；5. Learning to Restore Incomplete Images with Spatial Contextual Attention。