Text-guided Controllable Mesh Refinement for Interactive 3D Modeling

我们提出了一种新颖的技术，可以通过文本提示来为输入的粗糙三维网格添加几何细节。我们的方法由三个阶段组成。首先，我们生成一个基于输入粗略几何和输入文本提示的单视角RGB图像。这个单视角图像生成步骤允许用户预览结果，并为后续的多视角生成提供更强的约束。其次，我们使用我们的新颖多视角法线生成架构来联合生成六个不同视角的法线图像。联合视角生成减少了不一致性，并导致更锐利的细节。第三，我们根据所有视角优化我们的网格，并生成一个细致、详细的几何形状作为输出。所得到的方法在几秒钟内产生输出，并为用户提供了对所得到的3D网格的粗略结构、姿态和所需细节的明确控制。项目页面：https://text-mesh-refinement.github.io。

本文旨在通过文本提示来添加几何细节，以改进输入的粗糙3D网格。这是否是一个新问题？

本文提出了一个三阶段的方法，包括单视图图像生成、多视图法线生成和优化网格，以实现用户对粗略结构、姿态和所需细节的明确控制。

本文的亮点包括：通过文本提示来添加几何细节的方法，可以在几秒钟内生成细节丰富的3D网格；使用单视图图像生成和多视图法线生成来提高生成效果；实验结果表明，该方法可以有效地生成高质量的3D网格，且可以扩展到不同的数据集和应用场景。

最近的相关研究包括：《Learning to Infer Implicit Surfaces without 3D Supervision》、《Neural 3D Mesh Renderer》、《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》等。