南洋理工大学出品：图像生成中的Relation定制化

来源：我爱计算机视觉 | 读者推荐

本篇文章介绍来自南洋理工大学的论文 ReVersion: Diffusion-Based Relation Inversion from Images，研究图像生成中的Relation定制化。

详细信息如下：

论文：https://arxiv.org/abs/2303.13495
代码：https://github.com/ziqihuangg/ReVersion
主页：https://ziqihuangg.github.io/projects/reversion.html
视频：https://www.youtube.com/watch?v=pkal3yjyyKQ
Demo：https://huggingface.co/spaces/Ziqi/ReVersion

新任务：Relation Inversion

今年，diffusion model 和相关的定制化（personalization）的工作越来越受人们欢迎，例如 DreamBooth，Textual Inversion，Custom Diffusion 等，该类方法可以将一个具体物体的概念从图片中提取出来，并加入到预训练的text-to-image diffusion model中，这样一来，人们就可以定制化地生成自己感兴趣的物体，比如说具体的动漫人物，或者是家里的雕塑，水杯等等。

现有的定制化方法主要集中在捕捉物体 外观(appearance) 方面。然而，除了物体的外观，视觉世界还有另一个重要的支柱，就是物体与物体之间千丝万缕的 关系（relation） 。目前还没有工作探索过如何从图片中提取一个具体关系（relation），并将该relation作用在生成任务上。为此，我们提出了一个新任务：Relation Inversion 。

如上图，给定几张参考图片，这些参考图片中有一个共存的relation，例如“物体A 被装在 物体B中”，Relation Inversion的目标是找到一个relation prompt来描述这种交互关系，并将其应用于生成新的场景，让其中的物体也按照这个relation互动，例如将蜘蛛侠装进篮子里。

ReVersion框架

作为针对Relation Inversion问题的首次尝试，我们提出了ReVersion框架：

相较于已有的Appearance Invesion任务，Relation Inversion任务的难点在于怎样告诉模型我们需要提取的是relation这个相对抽象的概念，而不是物体的外观这类有显著视觉特征的方面。

我们提出了relation-focal importance sampling策略来鼓励<R>更多地关注high-level的relation；同时设计了relation-steering contrastive learning来引导 <R>更多地关注relation，而非物体的外观。更多细节详见论文。

ReVersion Benchmark

我们收集并提供了

ReVersion Benchmark：https://github.com/ziqihuangg/ReVersion#the-reversion-benchmark

它包含丰富多样的relation，每个relation有多张exemplar images以及人工标注的文字描述。我们同时对常见的relation提供了大量的inference templates，大家可以用这些inference templates来测试学到的relation prompt是否精准，也可以用来组合生成一些有意思的交互场景。