ParSEL: Parameterized Shape Editing with Language

能够通过自然语言编辑3D资产，为3D内容创作的民主化提供了一个引人注目的范例。然而，虽然自然语言通常很有效地传达一般意图，但它并不适合指定精确的操作。为了解决这个问题，我们介绍了ParSEL，这是一个系统，可以从自然语言中实现对高质量3D资产的可控制编辑。给定一个分段的3D网格和一个编辑请求，ParSEL会生成一个参数化的编辑程序。调整程序参数允许用户探索形状变化，并精确控制编辑的幅度。为了推断与输入编辑请求相符的编辑程序，我们利用了大型语言模型（LLM）的能力。然而，虽然我们发现LLM在识别初始编辑操作方面表现出色，但它们经常无法推断完整的编辑程序，并产生违反形状语义的输出。为了解决这个问题，我们引入了分析编辑传播（AEP），这是一种算法，它通过集成几何分析的计算机代数系统，将种子编辑扩展到其他操作，直到形成完整的编辑程序。与先前的方法不同，AEP搜索与可能的用户编辑兼容的分析编辑操作范围。通过实验，我们证明了ParSEL通过自然语言请求实现对3D对象的可控制编辑，相比其他系统设计更加有效。

解决问题：论文旨在通过自然语言控制编辑高质量三维模型，以帮助民主化三维内容创作。但是自然语言难以精确描述编辑操作，如何解决这一问题？

关键思路：论文提出了ParSEL系统，通过给定分割的三维网格和编辑请求，生成可控制的参数化编辑程序。通过调整程序参数，用户可以精确控制编辑的幅度，从而实现对形状变化的探索。为了推断与输入编辑请求相符的编辑程序，论文利用了大型语言模型（LLMs）的能力。此外，论文还引入了分析编辑传播（AEP）算法，通过集成计算机代数系统进行几何分析，扩展种子编辑操作以形成完整的编辑程序。

其他亮点：论文在实验中展示了ParSEL在自然语言请求下实现对三维对象的可控制编辑的有效性，相对于其他系统设计有了显著的提升。论文使用了多个数据集，并提供了开源代码。此外，AEP算法的引入为解决编辑程序推断中的问题提供了新的思路。

相关研究：在这个领域中，最近的相关研究包括：1）GAN-based 3D shape editing with correspondence learning；2）Learning to infer shape program from natural language；3）Neural Program Synthesis from Diverse Demonstration。