Pix2Pix-OnTheFly: Leveraging LLMs for Instruction-Guided Image Editing

结合语言处理和图像处理的方法因为最近这两个领域的强大发展而越来越受到关注。在这些进展中，仅基于自然语言指令来编辑图像的任务被认为是最具挑战性的。虽然最近的方法在某种程度上都需要进行一些形式的预处理、训练或微调，但本文探索了一种新的方法：我们提出了一种无需预处理的方法，可以实现基于指令的实时图像编辑。这种方法分为三个步骤，适当地组织了图像字幕和DDIM反演，然后获得编辑方向嵌入，最后进行图像编辑。虽然不需要预处理，但我们的方法证明是有效和有竞争力的，在MAGICBRUSH数据集上评估时，优于最近的最先进模型。

本论文旨在探索一种基于自然语言指令进行图像编辑的方法，同时避免了预备工作、训练或微调等操作，这是否是一个新问题？

本论文提出了一种无需预备工作的方法，通过图像字幕和DDIM反演，获取编辑方向嵌入，从而实现指令引导的图像编辑。相比当前领域的研究，本文的关键思路是什么？

本论文的亮点在于其无需预备工作的方法在MAGICBRUSH数据集上表现出色，且优于当前最先进的模型。实验设计合理，使用了开源数据集和代码。值得进一步研究的工作包括如何处理多个指令和如何提高编辑效果。

最近的相关研究包括：1）基于条件GAN的图像编辑；2）基于视觉和语言的图像编辑；3）基于自监督学习的图像编辑。