PASTA: Controllable Part-Aware Shape Generation with Autoregressive Transformers

由于对自动化3D内容创建过程的工具需求增加，深度生成模型在生成高保真度、多样化的3D物体方面取得了巨大进展。本文介绍了PASTA，一种自回归变换器架构，用于生成高质量的3D形状。PASTA由两个主要组成部分组成：一个自回归变换器，用于将对象生成为一系列立方体基元，以及一个混合网络，采用变换器解码器实现，用于组合立方体序列并为每个对象合成高质量网格。我们的模型分为两个阶段进行训练：首先，我们仅使用注释的立方体部件作为监督训练我们的自回归生成模型，接下来，我们使用显式的3D监督训练我们的混合网络，以水密网格的形式。在各种ShapeNet对象上的评估展示了我们的模型从各种输入中执行形状生成的能力，例如从头开始、从部分对象、从文本和图像以及通过明确地以定义对象边界的边界框为条件的尺寸引导生成。此外，由于我们的模型考虑到3D对象的基于部件的结构，我们能够选择特定的部件并生成具有有意义的该部件变化的形状。正如我们的实验所证明的那样，我们的模型生成的3D形状比现有的基于部件和非基于部件的方法更加逼真和多样化，同时实现和训练也更简单。

本文试图解决自动化生成3D物体的问题，提出了一种基于自回归变换器的生成模型PASTA。

PASTA模型由自回归变换器和混合网络两部分组成，前者生成物体的基本部件序列，后者使用变换器解码器将这些部件组合成高质量的网格。该模型考虑了3D对象的基本部件结构，能够从多种输入中生成多样化、逼真的3D物体。

该模型可以从零开始、从部分物体、从文本和图像等多种输入中生成3D物体，并且能够根据边界框大小进行有意义的生成。此外，该模型还能够选择特定的部件并生成具有意义的变化。实验表明，该模型生成的3D物体比现有的基于部件和非基于部件的方法更加真实和多样化。

最近的相关研究包括：Neural 3D Mesh Renderer、Generative Shape Models、Deep Learning for 3D Shape Analysis等。