TIE: Revolutionizing Text-based Image Editing for Complex-Prompt Following and High-Fidelity Editing

随着图像生成领域的快速发展，传统的扩散模型和集成多模式大型语言模型（LLMs）的模型仍然在解释复杂提示和在编辑前后保持图像一致性方面遇到限制。为了解决这些挑战，我们提出了一种创新的图像编辑框架，利用多模式LLMs的强大思维链和本地化能力来帮助扩散模型生成更精细的图像。我们首先精心设计了一个CoT过程，包括指令分解、区域本地化和详细描述。随后，我们使用多模式LLMs的CoT过程和编辑图像的掩模，对轻量级多模式LLM模型LISA进行了微调。通过为扩散模型提供生成提示和图像掩模的知识，我们的模型能够更好地理解指令，生成图像。通过大量实验，我们的模型在图像生成方面表现出优异的性能，超过了现有的最先进模型。值得注意的是，我们的模型展现了更强的理解复杂提示和生成相应图像的能力，同时在生成前后保持高保真度和一致性。

论文提出了一种创新的图像编辑框架，旨在解决传统扩散模型和多模态大型语言模型（LLM）在解释复杂提示和在编辑前后保留图像一致性方面的局限性。

该框架利用多模态LLM的强大思维链和本地化能力，通过Fine-tune LISA模型来辅助扩散模型生成更精细的图像。

论文设计了一种CoT过程，包括指令分解、区域本地化和详细描述。通过提供生成的提示和图像掩码的知识，该模型生成更好的图像，并在图像生成方面表现出优异的性能。

在这个领域最近的相关研究包括：DALL-E、CLIP等。