Step1X-Edit: A Practical Framework for General Image Editing

近年来，图像编辑模型取得了显著且快速的发展。近期，诸如GPT-4o和Gemini2 Flash等前沿多模态模型的发布，带来了极具潜力的图像编辑能力。这些模型展现出令人印象深刻的性能，能够满足绝大多数用户驱动的编辑需求，标志着图像处理领域的一大进步。然而，开源算法与这些闭源模型之间仍然存在较大差距。因此，在本文中，我们致力于发布一款最先进的图像编辑模型——Step1X-Edit，其性能可与GPT-4o和Gemini2 Flash等闭源模型相媲美。更具体地说，我们采用多模态大语言模型（Multimodal LLM）来处理参考图像和用户的编辑指令，并从中提取潜在嵌入（latent embedding），随后将其与扩散图像解码器结合以生成目标图像。为了训练该模型，我们构建了一条数据生成管道，用以生成高质量的数据集。在评估方面，我们开发了GEdit-Bench，这是一种基于真实用户指令的全新基准测试工具。实验结果表明，在GEdit-Bench上，Step1X-Edit显著超越现有的开源基线模型，并接近领先专有模型的性能，从而为图像编辑领域做出了重要贡献。

该论文试图解决当前开源图像编辑模型与闭源顶级模型（如GPT-4o和Gemini2 Flash）之间性能差距较大的问题。这是一个亟需解决的问题，因为尽管闭源模型表现出色，但开源模型在实际应用中仍存在显著不足。

论文提出了一种名为Step1X-Edit的新型图像编辑模型，其关键思路是结合多模态大语言模型（Multimodal LLM）处理参考图像和用户编辑指令，提取潜在嵌入，并将其与扩散图像解码器结合以生成目标图像。相比现有研究，这种方法更注重整合语言理解和图像生成能力，从而更好地满足复杂的用户编辑需求。

论文设计了高质量的数据生成管道，并开发了一个基于真实用户指令的新基准GEdit-Bench，用于评估模型性能。实验结果表明，Step1X-Edit显著优于现有的开源基线模型，并接近闭源顶级模型的性能。此外，代码和数据集均已开源，为后续研究提供了宝贵的资源。未来可以进一步探索更大规模的训练数据和更高效的模型架构。

近期相关研究包括：1) GPT-4o 和 Gemini2 Flash 等闭源模型展示了强大的多模态生成能力；2) 开源领域中的工作如SDXL、ControlNet和InstructPix2Pix等尝试通过条件生成或指令跟随改进图像编辑效果；3) 其他研究如《MultiDiffusion: Towards High-Quality Image Editing via Multimodal Diffusion Models》和《Text2ImageEditing: Bridging Textual Instructions and Visual Content》也在探索多模态融合技术以提升图像编辑性能。