Meshtron: High-Fidelity, Artist-Like 3D Mesh Generation at Scale

网格是3D表面的基本表示。然而，创建高质量的网格是一项耗时且需要大量3D建模专业知识的任务。虽然一个精细的物体通常需要超过10^4个面才能准确建模，但最近尝试生成艺术家风格的网格仅限于1.6K个面，并且顶点坐标的离散化程度很高。因此，扩大最大面数和顶点坐标分辨率对于生成高质量的、现实的、复杂的3D对象的网格至关重要。我们提出了Meshtron，这是一种新型的自回归网格生成模型，能够生成高达64K个面、1024级坐标分辨率的网格——比当前最先进方法的面数高出一个数量级以上，坐标分辨率高8倍。Meshtron的可扩展性由四个关键组件驱动：（1）沙漏神经架构，（2）截断序列训练，（3）滑动窗口推理，（4）一种确保网格序列顺序的稳健采样策略。这使得训练内存减少了超过50%，吞吐量提高了2.5倍，并且比现有工作更具一致性。Meshtron以前所未有的分辨率和保真度生成详细、复杂的3D对象的网格，这些网格与专业艺术家创作的非常接近，为动画、游戏和虚拟环境中的更逼真详细的3D资产生成打开了大门。

该论文旨在解决生成高质量3D网格模型的问题，特别是对于复杂和精细的3D对象，现有方法在面数和顶点坐标分辨率上存在显著限制。

论文提出了一种名为Meshtron的自回归网格生成模型，通过四个关键组件（1）沙漏神经架构，（2）截断序列训练，（3）滑动窗口推理，（4）鲁棒采样策略，实现了高达64K面和1024级坐标分辨率的网格生成，比现有方法提高了超过一个数量级的面数和8倍的坐标分辨率。

论文展示了Meshtron在生成详细复杂的3D对象时的高效性和高质量，其生成的网格模型接近专业艺术家的作品。此外，论文还指出Meshtron在训练内存需求上减少了超过50%，推理速度提高了2.5倍，并且具有更好的一致性。实验使用了多种复杂3D对象的数据集，代码已开源，为未来的研究提供了基础。

近年来，关于3D网格生成的研究不断涌现，例如《PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows》和《MeshCNN: A Network with an Edge》等。这些研究主要集中在提高生成质量和效率，但大多仍受限于较低的面数和坐标分辨率。Meshtron在这些方面取得了显著进展，为未来的高分辨率3D网格生成研究奠定了基础。