OmniGen: Unified Image Generation

在这项工作中，我们介绍了OmniGen，一种新的统一图像生成扩散模型。与流行的扩散模型（例如稳定扩散）不同，OmniGen不再需要额外的模块，如ControlNet或IP-Adapter来处理不同的控制条件。OmniGen具有以下特点：1）统一性：OmniGen不仅具有文本到图像生成能力，而且本质上支持其他下游任务，如图像编辑、主题驱动生成和视觉条件生成。此外，OmniGen可以通过将它们转化为图像生成任务来处理经典的计算机视觉任务，如边缘检测和人体姿态识别。2）简单性：OmniGen的架构非常简化，消除了额外的文本编码器的需要。此外，与现有的扩散模型相比，它更加用户友好，使得可以通过指令完成复杂任务而无需额外的预处理步骤（例如人体姿态估计），从而显著简化了图像生成的工作流程。3）知识转移：通过以统一格式进行学习，OmniGen有效地在不同任务之间转移知识，处理未见过的任务和领域，并展示新的能力。我们还探讨了模型的推理能力和链式思考机制的潜在应用。这项工作代表了通用图像生成模型的首次尝试，但仍存在一些未解决的问题。我们将在https://github.com/VectorSpaceLab/OmniGen开源相关资源，以促进这一领域的进步。

论文旨在提出一种通用的图像生成模型，解决不同任务之间的统一性问题，如文本到图像生成、图像编辑、主体驱动生成、视觉条件生成等，并探索模型的推理能力和思维链机制的潜在应用。

OmniGen是一种新的扩散模型，相比于现有的扩散模型，如Stable Diffusion，不需要额外的模块来处理不同的控制条件。OmniGen的架构被高度简化，消除了额外的文本编码器，更加用户友好，可以通过指令完成复杂的任务。

论文提出的OmniGen模型具有统一性、简单性和知识转移的特点，可以处理不同的任务和领域，包括传统的计算机视觉任务。实验结果表明，OmniGen在多个数据集上的表现优于现有的图像生成模型。作者将相关资源开源在GitHub上。

最近的相关研究包括：1）GPT-2模型在图像生成任务上的应用；2）使用生成对抗网络进行图像生成和编辑；3）控制生成模型的研究。