UniVG: A Generalist Diffusion Model for Unified Image Generation and Editing

文本到图像（T2I）扩散模型在根据用户提示生成视觉上吸引人的图像方面展现了令人印象深刻的效果。在此基础上，各种方法进一步微调预训练的T2I模型以适应特定任务。然而，这种方法需要为不同任务设计独立的模型架构、训练方案以及多组参数。在本文中，我们提出了UniVG，这是一种通用扩散模型，能够仅用一组权重支持多种图像生成任务。UniVG将多模态输入视为统一条件，从而实现从文本到图像生成、修复、基于指令的编辑、保持身份的生成、布局引导的生成，到深度估计和引用分割等多种下游应用。通过在数据混合和多任务训练方面的全面实证研究，我们详细探讨了训练过程及决策，这些为我们的最终设计提供了依据。例如，我们证明了文本到图像生成与其他任务（如基于指令的编辑）可以共存且不产生性能权衡，而辅助任务（如深度估计和引用分割）则增强了图像编辑能力。特别值得一提的是，我们的模型甚至在某些特定任务的基准测试中超越了专门的任务模型，这标志着向统一图像生成模型迈出了重要一步。

本论文试图解决的问题是如何构建一个通用的图像生成模型，能够同时支持多种图像生成任务（如文本到图像生成、修复、指令编辑等），而无需为每种任务单独设计模型架构或参数集。这是一个相对较新的问题，旨在减少多任务模型的设计复杂性和资源消耗。

UniVG 是一种基于扩散模型的通用图像生成模型，其核心思路是将多模态输入统一为条件变量，并通过单一权重集支持多种图像生成任务。相比现有研究中针对特定任务分别训练和优化模型的方法，UniVG 通过多任务训练策略实现了不同任务之间的性能协同，避免了任务间的性能权衡。此外，作者引入辅助任务（如深度估计和指代分割）来增强主任务的表现。

1. UniVG 在多个基准测试中表现出色，甚至在某些任务上超越了专门设计的任务特定模型。 2. 论文通过详尽的实验验证了 T2I 和其他任务可以共同训练而不影响彼此性能。 3. 数据混合和多任务训练方法被深入分析，提供了关于如何平衡任务权重和数据分布的具体见解。 4. 论文附带开源代码和预训练模型，便于复现和进一步研究。 5. 提出了未来可能的研究方向，例如扩展到视频生成或多模态生成任务。

近期相关研究包括： 1. Stable Diffusion 系列模型：专注于高质量文本到图像生成。 2. ControlNet：通过条件控制实现多样化的图像编辑任务。 3. Imagen 和 Parti：利用大规模文本-图像对进行高效训练。 4. DALL·E 系列：结合语言模型与图像生成技术。 5. GLIDE 和 Paint-by-Example：探索基于文本和示例的图像编辑。 6. Segment Anything Model (SAM)：提供灵活的分割能力，可作为图像生成的辅助工具。