Triangle Splatting for Real-Time Radiance Field Rendering

计算机图形学领域因神经辐射场（Neural Radiance Fields）和3D高斯点阵（3D Gaussian Splatting）等模型的出现而发生了革命性变化，这些方法取代了三角形在摄影测量中的主导地位。在本文中，我们主张三角形的回归。我们开发了一种可微渲染器，通过端到端梯度直接优化三角形。我们通过将每个三角形渲染为可微点阵来实现这一点，这种方法结合了三角形的高效性和基于独立基元表示的自适应密度特性。与流行的2D和3D高斯点阵方法相比，我们的方法在视觉保真度、收敛速度和渲染吞吐量方面表现更优。在Mip-NeRF360数据集上，我们的方法在视觉保真度上超越了同时期的非体素基元方法，并在室内场景中实现了比当前最先进的Zip-NeRF更高的感知质量。三角形简单、与标准图形管线和GPU硬件兼容，且效率极高：以《花园》场景为例，我们使用现成的网格渲染器在1280x720分辨率下达到了超过2,400帧每秒的性能。这些结果表明，基于三角形的表示在高质量新视角合成任务中既高效又有效。三角形通过结合经典计算机图形学与现代可微渲染框架，推动了基于网格的优化技术的发展。项目主页为 https://trianglesplatting.github.io/。

本论文试图解决如何在高质量视图合成任务中提高渲染效率和视觉保真度的问题。具体来说，作者挑战了当前主流的基于NeRF或Gaussian Splatting的方法，并提出了一种回归三角形表示的新方法。这是一个具有创新性的尝试，因为近年来三角形作为经典几何表示逐渐被更复杂的模型所取代。

论文的关键思路是通过开发一种不同iable渲染器来直接优化三角形，将每个三角形作为可微分的splat进行渲染。这种方法结合了三角形表示的经典高效性与现代不同iable渲染框架的灵活性，从而实现了高视觉保真度、快速收敛和高效的渲染吞吐量。相比现有的2D/3D Gaussian Splatting方法，该方法在性能上有显著提升。

1. 在Mip-NeRF360数据集上，该方法在视觉质量和渲染速度上均优于同期非体积原始方法；2. 在室内场景测试中，其感知质量超过了目前最先进的Zip-NeRF；3. 高效性：对于《Garden》场景，使用现成的网格渲染器即可实现超过2,400 FPS的渲染速度（分辨率为1280x720）；4. 论文代码已开源，项目页面为https://trianglesplatting.github.io/，方便后续研究者复现和改进。

相关研究包括：1. Neural Radiance Fields (NeRF)，如Mip-NeRF360和Zip-NeRF，它们以隐式表示为主，但渲染效率较低；2. Gaussian Splatting方法，例如Instant NGP和3D Gaussian Splatting，这些方法通过显式表示提升了渲染效率，但仍存在视觉保真度不足的问题；3. 经典的基于三角形的渲染技术，尽管高效但难以适应现代深度学习优化框架。