Interactive3D: Create What You Want by Interactive 3D Generation

3D物体生成已经取得了显著的进展，产生了高质量的结果。然而，它们在实现精确的用户控制方面存在缺陷，往往产生不符合用户期望的结果，从而限制了它们的适用性。用户展望的3D物体生成面临着重大的挑战，因为现有的生成模型由于交互能力有限而难以实现其概念。现有的方法主要提供两种方法：(i) 解释具有约束可控性的文本指令，或者(ii) 从2D图像重建3D物体。这两种方法都将定制限制在2D参考的范围内，并且在3D提取过程中可能引入不良伪影，限制了直接和多功能的3D修改范围。在这项工作中，我们介绍了Interactive3D，这是一个创新的互动3D生成框架，通过广泛的3D交互功能，授予用户对生成过程的精确控制。Interactive3D分为两个级联阶段，利用不同的3D表示。第一阶段采用高斯喷洒进行直接用户交互，允许在任何中间步骤通过(i)添加和删除组件，(ii)可变形和刚性拖动，(iii)几何变换和(iv)语义编辑来修改和指导生成方向。随后，高斯喷洒被转换为InstantNGP。我们引入了一个新的(v)交互式哈希细化模块，以进一步添加细节并在第二阶段提取几何形状。我们的实验表明，Interactive3D显着提高了3D生成的可控性和质量。我们的项目网页可在\url{https://interactive-3d.github.io/}上找到。

本论文旨在解决当前3D对象生成领域中用户控制不精确的问题，提出一种可交互的3D生成框架，使用户能够通过3D交互精确控制生成过程。

Interactive3D框架由两个级联的阶段构成，利用不同的3D表示方法。第一阶段采用高斯喷洒法进行直接用户交互，通过添加和删除组件、可变形和刚性拖动、几何变换和语义编辑等方式，在任何中间步骤上修改和指导生成方向。随后，高斯喷洒法被转化为InstantNGP。第二阶段引入了一种新颖的交互式哈希细化模块，以进一步添加细节并提取几何形状。

论文的实验结果表明，Interactive3D显著提高了3D生成的可控性和质量。此外，论文还提供了项目网页和开源代码。值得进一步研究的工作包括如何扩展Interactive3D框架以支持更多的3D交互和如何进一步提高生成的效率。

与本论文相关的研究包括使用文本说明和2D图像重建等方法的3D对象生成，以及使用GAN和VAE等深度学习模型进行3D对象生成的研究。