Structure Matters: Tackling the Semantic Discrepancy in Diffusion Models for Image Inpainting

本文提出了一种新的结构引导扩散模型StrDiffusion，旨在回答未遮挡语义如何指导纹理去噪过程，以及如何处理语义差异，以促进一致和有意义的语义生成。该模型通过结构引导重新构建了传统的纹理去噪过程，以推导出简化的图像修复去噪目标。研究表明，语义稀疏结构有助于解决早期的语义差异问题，而密集的纹理在后期生成合理的语义。未遮挡区域的语义本质上为纹理去噪过程提供了时间依赖的结构指导，从结构语义的时间依赖稀疏性中受益。对于去噪过程，使用结构引导的神经网络训练以估计简化的去噪目标，利用遮挡和未遮挡区域之间的结构一致性。此外，设计了一种自适应重采样策略，作为结构是否有能力指导纹理去噪过程的形式标准，同时调节它们的语义相关性。实验验证了StrDiffusion相对于现有技术的优点。该代码可在https://github.com/htyjers/StrDiffusion上获得。

本文旨在回答未遮盖区域的语义如何指导纹理去噪过程，以及如何解决遮盖和未遮盖区域之间的语义差异，以促进一致和有意义的语义生成。

本文提出了一种新的结构引导扩散模型StrDiffusion，通过结构引导重新定义传统的纹理去噪过程，以推导出简化的图像修复目标，同时揭示了未遮盖语义本质上为纹理去噪过程提供了时间依赖的结构引导，从而受益于结构语义的时间依赖性。

本文设计了一个结构引导神经网络来估计简化的去噪目标，并利用遮盖和未遮盖区域之间去噪后的结构一致性，制定了一种自适应重采样策略，作为结构是否有能力引导纹理去噪过程的正式标准，同时调节它们的语义相关性。实验结果表明，StrDiffusion相比现有技术具有更好的性能。

与该领域的相关研究包括：DIP、DDPM、SIREN、Glow等。