PartCraft: Crafting Creative Objects by Parts

本文通过“选择”功能推动了生成式视觉人工智能中的创造性控制。与传统的基于文本或草图的方法不同，我们首次允许用户按部件选择视觉概念，以用于他们的创意工作。结果是细粒度的生成，精确捕捉所选视觉概念，确保整体上忠实且合理的结果。为了实现这一目标，我们首先通过无监督特征聚类将对象解析成部件。然后，我们将部件编码为文本标记，并引入基于熵的标准化注意力损失来操作它们。这种损失设计使我们的模型能够学习关于对象部件组成的通用先验拓扑知识，并进一步推广到新颖的部件组成，以确保生成的整体外观忠实。最后，我们采用瓶颈编码器来投影部件标记。这不仅增强了保真度，还通过利用共享知识和促进实例之间的信息交流来加速学习。本文和补充材料中的视觉结果展示了PartCraft在塑造高度定制的创新作品方面的强大能力，例如“迷人”的创意鸟。代码已在https://github.com/kamwoh/partcraft发布。

本文旨在通过允许用户“选择”来推动生成视觉AI中的创意控制。与传统的基于文本或草图的方法不同，本文首次允许用户通过部分选择视觉概念进行创意活动。该方法生成的结果是精细的，能够准确捕捉所选视觉概念，从而确保整体上忠实且可信的结果。

本文通过对对象进行无监督特征聚类，将其解析为部分。然后，将部分编码为文本标记，并引入基于熵的标准化注意力损失来操作它们。最后，使用瓶颈编码器来投影部分标记。这不仅增强了准确性，还通过利用共享知识并促进实例之间的信息交换来加速学习。

本文提出的PartCraft方法可以生成高度定制的创新作品，例如“迷人”的鸟类。实验结果展示了该方法的强大功能。本文还开源了代码，并使用了多个数据集进行了实验。

在最近的相关研究中，有一些与本文相关的研究。例如：“Generative Visual Manipulation on the Natural Image Manifold”和“Neural Part Volumes”。