Context Diffusion: In-Context Aware Image Generation

我们提出了Context Diffusion，这是一个基于扩散的框架，使图像生成模型能够从呈现在上下文中的视觉示例中学习。最近的工作解决了图像生成中的这种上下文学习问题，其中提供了查询图像以及上下文示例和文本提示。然而，当没有提示时，生成图像的质量和保真度会下降，表明这些模型无法真正从视觉上下文中学习。为了解决这个问题，我们提出了一个新颖的框架，将视觉上下文的编码与保留查询图像的结构分离。这使得模型能够从视觉上下文和文本提示中学习，也能够从其中任何一个中学习。此外，我们使我们的模型能够处理少样本设置，以有效地解决多样的上下文学习场景。我们的实验和用户研究表明，Context Diffusion在域内和域外任务中表现出色，相比于对应的模型，图像质量和保真度得到了整体提高。

Context Diffusion论文旨在解决图像生成模型从视觉上下文中学习的问题，以及在缺少提示时图像生成的质量下降的问题。

该论文提出了一种新的框架，将视觉上下文的编码与保留查询图像的结构分离，从而使模型能够从视觉上下文和文本提示中学习，同时也能够从其中任意一个中学习。此外，该模型能够处理少样本情况，以有效地解决各种视觉上下文学习场景。

论文在多个数据集上进行了实验，并进行了用户研究。实验结果表明，Context Diffusion在领域内和领域外任务中都表现出色，与对应的模型相比，图像质量和保真度得到了提高。论文代码已开源。

在这个领域中，最近的相关研究包括：《Generative Models for Effective ML》、《Inpainting of Large Missing Regions in Satellite Images with GANs》、《Glow: Generative Flow with Invertible 1x1 Convolutions》等。