Mask-ControlNet: Higher-Quality Image Generation with An Additional Mask Prompt

文本生成图像已经取得了巨大的进展，特别是在扩散模型的最新进展方面。由于文本无法提供像物体外观这样的详细条件，因此通常利用参考图像来控制生成图像中的对象。然而，现有的方法在前景和背景之间的关系复杂时仍然存在精度有限的问题。为了解决这个问题，我们开发了一个名为Mask-ControlNet的框架，通过引入额外的掩码提示来解决这个问题。具体来说，我们首先使用大型视觉模型获取掩码以分割参考图像中感兴趣的对象。然后，利用对象图像作为额外提示来促进扩散模型更好地理解图像生成过程中前景和背景区域之间的关系。实验表明，掩码提示增强了扩散模型的可控性，从而保持更高的参考图像保真度，同时实现更好的图像质量。与先前的文本生成图像方法相比，我们的方法在基准数据集上表现出更优秀的定量和定性性能。

解决问题：本文旨在解决文本到图像生成中前景和背景之间关系复杂的问题，提高图像生成的准确性和质量。

关键思路：本文提出了一种名为Mask-ControlNet的框架，通过引入额外的掩模提示来增强扩散模型的可控性，提高对参考图像中前景和背景区域关系的理解，从而提高图像生成的准确性和质量。

其他亮点：实验结果表明，本文提出的Mask-ControlNet框架在基准数据集上具有更好的定量和定性性能。本文采用大型视觉模型获取掩码以分割参考图像中的感兴趣对象，并将对象图像用作额外提示，以帮助扩散模型更好地理解前景和背景区域之间的关系。

相关研究：最近的相关研究包括《Generative Adversarial Networks for Image-to-Text Generation: A Review》和《Generative Adversarial Text-to-Image Synthesis: A Review》等。