Tetrahedron Splatting for 3D Generation

3D表示对于使用2D扩散先验的3D生成的显著进展至关重要。作为一种灵活的表示方法，NeRF首先被采用用于3D表示。然而，由于基于密度的体积渲染，它遭受了密集的计算负担和不准确的网格提取的困扰。使用有符号距离场和Marching Tetrahedra，DMTet允许精确的网格提取和实时渲染，但在处理网格中的大型拓扑变化方面受到限制，从而导致优化挑战。相反，3D高斯喷涂（3DGS）在训练和渲染效率方面受到青睐，但在网格提取方面不足。在这项工作中，我们介绍了一种新的3D表示方法，Tetrahedron Splatting（TeT-Splatting），它同时支持易于优化收敛、精确的网格提取和实时渲染。这是通过在结构化四面体网格内集成基于表面的体积渲染来实现的，同时保留所需的精确网格提取能力和基于图块的可微分四面体光栅化器。此外，我们还结合了有符号距离场的eikonal和法向一致性正则化项，以提高生成质量和稳定性。关键是，我们的表示可以在不提取网格的情况下进行训练，从而使优化过程更容易收敛。我们的TeT-Splatting可以轻松集成到现有的3D生成流程中，以及多边形网格用于纹理优化。广泛的实验表明，与先前的替代方案相比，在不同的3D生成设置下，我们的TeT-Splatting在收敛速度、渲染效率和网格质量之间取得了更好的平衡。

本论文试图解决通过新的3D表示方法来提高3D生成的效率和质量的问题。

论文提出了一种新的3D表示方法，Tetrahedron Splatting（TeT-Splatting），通过在结构化四面体网格中集成基于表面的体积渲染，同时保持精确的网格提取能力，以及基于图块的可微分四面体光栅化器，实现了易于优化收敛、精确的网格提取和实时渲染。此外，论文还加入了Eikonal和法向一致性正则化项来提高生成质量和稳定性。

论文实验表明，TeT-Splatting在收敛速度、渲染效率和网格质量方面具有优越的平衡，比之前的替代方案更好。此外，该表示法可以在不进行网格提取的情况下进行训练，从而使优化过程更容易收敛。

最近的相关研究包括NeRF、DMTet和3D Gaussian Splatting（3DGS）等。