SEED-Data-Edit Technical Report: A Hybrid Dataset for Instructional Image Editing

在这份技术报告中，我们介绍了SEED-Data-Edit：一种独特的混合数据集，旨在通过自由语言来促进图像编辑。SEED-Data-Edit由三种不同类型的数据组成：（1）由自动化流水线产生的高质量编辑数据，确保了大量多样化的图像编辑对；（2）从互联网收集的真实场景数据，捕捉了用户意图的复杂性，以促进图像编辑在实际世界中的应用；（3）由人类注释的高精度多轮编辑数据，涉及多轮编辑，以模拟迭代编辑过程。这些不同数据来源的结合使得SEED-Data-Edit成为一种全面而多功能的数据集，可用于训练语言引导的图像编辑模型。我们使用SEED-Data-Edit对预训练的多模态大型语言模型（MLLM）进行微调，该模型统一了理解和生成。微调后的模型表现出有希望的结果，表明SEED-Data-Edit在推进指导式图像编辑领域方面具有潜力和有效性。该数据集已在https://huggingface.co/datasets/AILab-CVC/SEED-Data-Edit上发布。

SEED-Data-Edit旨在解决指导图像编辑的语言模型训练中缺乏多样性和实际场景的问题。

SEED-Data-Edit是一个混合数据集，结合了自动化生成的高质量编辑数据、从互联网收集的真实场景数据以及人工注释的高精度多轮编辑数据，用于训练语言引导的图像编辑模型。

论文通过fine-tune预训练的Multimodal Large Language Model (MLLM)，并在SEED-Data-Edit上进行实验，证明了该数据集的有效性和潜力。数据集已经开源。

最近的相关研究包括：《Image Editing with Recurrent Attentive Models》、《Image Generation from Scene Graphs》等。