MagicClay: Sculpting Meshes With Generative Neural Fields

最近在神经领域的发展为形状生成带来了惊人的能力，但它们缺乏关键属性，比如增量控制——艺术工作的基本要求。另一方面，三角形网格是大多数几何相关任务的选择表示，提供了效率和直观的控制，但不适用于神经优化。为了支持下游任务，以前的艺术通常提出了一个两步法，首先使用神经场生成形状，然后提取网格进行进一步处理。相反，在本文中，我们介绍了一种混合方法，同时保持网格和有符号距离场（SDF）表示的一致性。使用这个表示，我们介绍了MagicClay——一个艺术家友好的工具，可以根据文本提示雕刻网格的某些区域，同时保持其他区域不变。我们的框架在每一步形状优化中都仔细而高效地平衡表示之间的一致性和正则化。依靠网格表示，我们展示了如何以更高的分辨率和更快的速度渲染SDF。此外，我们采用了最近在可微分网格重建方面的工作，根据SDF指示，在网格中自适应地分配三角形。通过已实现的原型，我们展示了与最先进技术相比更优秀的生成几何形状，并首次实现了对同一网格的顺序提示进行一致的控制。

论文提出了一种基于混合表示的形状生成方法，旨在解决神经场和三角网格表示各自的限制问题，提供更好的艺术控制能力。

论文提出了一种混合表示方法，同时维护三角网格和有符号距离场（SDF）表示，通过在每个步骤中平衡两者之间的一致性和规范性，实现了艺术家友好的形状生成和编辑。

论文实现了一个原型工具MagicClay，可以根据文本提示对三角网格的局部区域进行雕刻，同时保持其他区域不变。使用了不同iable mesh reconstruction技术，自适应地分配三角形以匹配SDF。实验结果表明，该方法比现有方法生成的几何形状更优，并提供了序列提示编辑同一网格的新颖一致控制能力。

最近的相关研究包括：Differentiable Rendering, DeepSDF, Neural Implicit Representations, Mesh R-CNN等。