PivotMesh: Generic 3D Mesh Generation via Pivot Vertices Guidance

生成紧凑且细节清晰的三维网格是当前三维生成模型面临的重大挑战。与从神经表示中提取密集网格不同，一些最近的工作尝试对本地网格分布（即一组三角形）建模，这会生成更紧凑的结果，就像人类手工制作的一样。然而，由于网格拓扑的复杂性和多样性，这些方法通常局限于特定类别的小型数据集，并且很难扩展。在本文中，我们介绍了一个通用且可扩展的网格生成框架PivotMesh，它首次尝试将本地网格生成扩展到大规模数据集。我们使用基于Transformer的自编码器将网格编码为离散标记，并从面级别到顶点级别进行分层解码。随后，为了建模复杂的拓扑结构，我们首先学习生成枢轴顶点作为粗略的网格表示，然后使用相同的自回归Transformer生成完整的网格标记。与直接建模网格分布相比，这降低了难度，并进一步提高了模型的可控性。PivotMesh通过有效地学习Shapenet等小型数据集和Objaverse、Objaverse-xl等大规模数据集，展示了其多功能性。广泛的实验表明，PivotMesh可以在各种类别中生成紧凑而锐利的三维网格，突显了其本地网格建模的巨大潜力。

如何生成紧凑且清晰的3D网格模型？如何将原生网格分布扩展到大规模数据集上？

利用基于Transformer的自编码器将网格编码为离散标记，并从面层次向顶点层次分层解码，通过生成粗略的网格表示（枢轴点）来模拟复杂拓扑结构，然后再使用同样的自回归Transformer生成完整的网格标记，从而提高模型可控性和降低难度。

论文提出了一种通用且可扩展的网格生成框架PivotMesh，能够有效地从小规模数据集（如Shapenet）和大规模数据集（如Objaverse和Objaverse-xl）中学习，生成各种类别的紧凑而清晰的3D网格模型。通过使用不同的数据集，论文证明了PivotMesh的通用性和可扩展性。实验结果表明，PivotMesh在网格生成方面表现出色，并且具有很高的潜力。

目前，从神经表示中提取密集网格和建模原生网格分布的方法都存在一定局限性。相关研究包括：Learning to Generate 3D Meshes with Generative Adversarial Networks、Neural 3D Mesh Renderer等。