Lighting Every Darkness with 3DGS: Fast Training and Real-Time Rendering for HDR View Synthesis

体积渲染方法（如NeRF）在从RAW图像中合成HDR视图方面表现出色，特别是在夜景场景中。然而，由于需要密集采样，它们受到长时间训练和无法进行实时渲染的影响。3D高斯扩散（3DGS）的出现使得实时渲染和更快的训练成为可能。然而，直接使用3DGS实现基于RAW图像的视图合成具有固有的缺点，如在夜景场景中，极低的信噪比导致远景的结构运动估计不佳；球谐函数（SH）函数的有限表示能力不适合RAW线性色彩空间；不准确的场景结构妨碍下游任务，如重点放在。为了解决这些问题，我们提出了LE3D（用3DGS照亮黑暗）。我们的方法提出了锥形散射初始化来丰富SfM的估计，并用颜色MLP替换SH来表示RAW线性色彩空间。此外，我们引入深度畸变和近远程规则化，以提高下游任务的场景结构精度。这些设计使LE3D能够进行实时新视图合成、HDR渲染、重点放在和色调映射变化。与以前的体积渲染方法相比，LE3D将训练时间缩短到1％，在FPS方面，对于2K分辨率图像，渲染速度提高了高达4000倍。代码和查看器可以在https://github.com/Srameo/LE3D中找到。

LE3D论文旨在解决基于体积渲染的方法在夜间场景下训练时间长、无法实时渲染的问题，以及3D高斯喷洒方法在RAW图像视角合成方面的局限性问题。

LE3D提出了锥形散射初始化、用颜色MLP代替球面谐波函数表示RAW线性颜色空间、引入深度扭曲和近远规则化等设计，以提高SfM估计、场景结构准确性和后续任务的性能，从而实现实时新视角合成、HDR渲染、重点调整等功能。

LE3D将训练时间缩短到1%，并将渲染速度提高了多达4000倍，支持2K分辨率图像的实时渲染。代码和查看器可以在GitHub上找到。LE3D的亮点包括引入了新的设计来提高视角合成和场景结构的准确性，实现了多项功能，并且在实验中使用了多个数据集。

与LE3D相关的研究包括基于体积渲染的其他方法，如NeRF和3DGS，以及其他视角合成和HDR渲染的方法，如DeepView和HDRViewSynth。