Make-A-Shape: a Ten-Million-scale 3D Shape Model

已经在自然语言和图像的大型生成模型训练方面取得了显著进展。然而，3D生成模型的进展受到了它们在训练时所需的大量资源的限制，以及表示效率低、非紧凑和表达能力较差的影响。本文介绍了Make-A-Shape，这是一个新的3D生成模型，旨在实现高效的大规模训练，能够利用1000万个公开可用的形状。在技术方面，我们首先创新了小波树表示法，通过制定子带系数滤波方案来紧凑地编码形状，以有效地利用系数关系。然后，我们通过设计子带系数打包方案在低分辨率网格中布局表示来生成表示。此外，我们还提出了子带自适应训练策略，以有效地学习生成粗糙和详细的小波系数。最后，我们扩展了我们的框架，使其能够受到其他输入条件的控制，从而能够从各种模态生成形状，例如单/多视图图像、点云和低分辨率体素。在我们广泛的实验中，我们展示了各种应用，例如无条件生成、形状完成和在各种模态下的条件生成。我们的方法不仅在提供高质量结果方面超越了现有技术水平，而且在几秒钟内高效地生成形状，通常在大多数条件下仅需2秒钟即可实现。

本文旨在解决3D生成模型训练的资源需求大、表示方式不够紧凑和表达能力不足等问题，提出了一种新的3D生成模型Make-A-Shape。

本文的关键思路是通过创新的小波树表示法和扩散模型生成法，以及自适应训练策略，实现对数百万公开可用形状的高效训练和生成。同时，该模型能够通过附加输入条件来控制生成的形状。

本文的亮点包括：1.使用小波树表示法和扩散模型生成法实现对数百万公开可用形状的高效训练和生成；2.能够通过附加输入条件来控制生成的形状；3.在多种模态下进行了广泛的实验，如无条件生成、形状完成和有条件生成等，获得了高质量的结果；4.实现了快速的生成速度，大多数条件下只需2秒即可完成。

在该领域的相关研究还包括：1.3D形状生成中的GANs；2.3D形状自编码器；3.3D形状生成中的变分自编码器等。