DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

三角网格在3D应用中对于高效的操作和渲染起着至关重要的作用。尽管自回归方法通过预测离散的顶点标记来生成结构化的网格，但它们常常受限于面数有限和网格不完整的问题。为了解决这些挑战，我们提出了DeepMesh，这是一个通过两项关键创新优化网格生成的框架：(1) 一种高效的预训练策略，包含一种新颖的标记化算法，以及数据整理和处理的改进；(2) 将强化学习（RL）引入3D网格生成中，通过直接偏好优化（DPO）实现与人类偏好的对齐。我们设计了一个评分标准，将人类评估与3D指标相结合，以收集用于DPO的偏好对，从而确保视觉吸引力和几何准确性。基于点云和图像的条件输入，DeepMesh能够生成具有复杂细节和精确拓扑结构的网格，在精度和质量上均超越现有最先进的方法。项目页面：https://zhaorw02.github.io/DeepMesh/

该论文试图解决3D三角网格生成中的两个主要问题：1）当前自回归方法生成的网格通常受限于较低的面数，导致细节不足；2）生成的网格可能不完整或拓扑结构不准确。这是一个已有但尚未完全解决的问题，特别是在生成高精度和复杂细节的网格时。

论文提出了DeepMesh框架，通过两项创新解决了上述问题：1）引入了一种高效的预训练策略，包括新的网格顶点标记化算法以及数据处理和整理的改进；2）将强化学习（RL）应用于3D网格生成，并使用直接偏好优化（DPO）来对齐人类偏好。这种方法不仅考虑了几何准确性，还结合了人类评价标准，从而生成视觉吸引力更高且拓扑精确的网格。

实验设计包括条件生成（基于点云和图像），并展示了在精度和质量上超越现有方法的能力。论文采用多种评估指标，包括几何精度和视觉吸引力评分。此外，项目页面提供了可视化结果，代码已开源，便于后续研究者复现和改进。未来可以进一步探索更复杂的场景或动态网格生成。

近期相关研究包括：1）《NeuS: Learning Neural Implicit Surfaces for Multi-View Reconstruction》，专注于多视图重建；2）《PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows》，提出基于流模型生成点云的方法；3）《GRANITE: Generative Radiance Fields for Inverse Rendering and Novel View Synthesis》，研究逆渲染和新视角合成。这些工作主要集中在3D形状表示、生成和渲染的不同方面，而DeepMesh则专注于高效生成高质量网格。