BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion

图像修复是恢复损坏图像的过程，在扩散模型（DM）的出现下，图像修复取得了显著进展。然而，目前用于修复的DM改进，包括对采样策略的修改或开发特定于修复的DM，经常存在语义不一致和降低图像质量的问题。为了解决这些挑战，我们的工作引入了一种新的范例：将掩蔽图像特征和噪声潜在因素分为两个独立分支。这种分支极大地减少了模型的学习负担，并以分层方式便于细致地将必要的掩蔽图像信息融入模型。在此基础上，我们提出了BrushNet，这是一种新型的插入式双分支模型，旨在将像素级掩蔽图像特征嵌入任何预训练的DM中，确保连贯且增强的图像修复效果。此外，我们还提出了BrushData和BrushBench，以促进基于分割的图像修复训练和性能评估。我们广泛的实验分析表明，BrushNet在包括图像质量、掩蔽区域保留和文本连贯性在内的七个关键指标上表现优于现有模型。

本论文旨在解决图像修复中存在的语义不一致和图像质量降低的问题，提出了一种新的范式，将掩模图像特征和噪声潜变量分别分为两个分支，以减小模型的学习负担，并以分层方式精细地将必要的掩模图像信息嵌入到任何预训练的扩散模型中。

本文提出了BrushNet，一种新型的插拔式双分支模型，旨在将像素级掩模图像特征嵌入到任何预训练的扩散模型中，从而保证了图像修复的连贯性和增强效果。

本文介绍了BrushData和BrushBench，以促进基于分割的修复训练和性能评估。在七个关键指标（包括图像质量、掩模区域保留和文本连贯性）上，BrushNet的性能优于现有模型。实验结果表明，本文提出的方法在图像修复领域具有较高的应用价值。

最近的相关研究包括：（1）Deep Image Prior for Image Inpainting；（2）EdgeConnect: Structure Guided Image Inpainting using Edge Prediction；（3）Generative Image Inpainting with Contextual Attention；（4）Free-Form Image Inpainting with Gated Convolution；（5）Image Inpainting via Generative Multi-column Convolutional Neural Networks。