Cinematic Gaussians: Real-Time HDR Radiance Fields with Depth of Field

辐射场方法是从多视角照片中重建复杂场景的最先进技术。然而，这些重建往往存在以下一种或两种限制：首先，它们通常以低动态范围（LDR）表示场景，这限制了它们在均匀照明环境下的使用，并阻碍了沉浸式观看体验。其次，它们依赖于针孔相机模型，假设所有场景元素在输入图像中都处于对焦状态，这带来了实际挑战，并且使新视角合成中的重新对焦变得复杂。为了解决这些限制，我们提出了一种基于3D高斯点插值的轻量级方法，利用多视角LDR图像作为输入，这些图像具有不同的曝光时间、光圈和对焦距离，以重建高动态范围（HDR）辐射场。通过基于薄透镜相机模型的高斯分析卷积和色调映射模块，我们的重建使得能够呈现具有灵活重新对焦能力的HDR内容。我们证明了我们对HDR和景深的综合处理有助于实时电影渲染，超越了现有技术水平。

本篇论文旨在解决现有radiance field方法在重建场景时存在的低动态范围和针孔相机模型限制的问题，以及缺乏灵活的聚焦能力的问题。

本文提出了一种基于三维高斯喷洒的轻量级方法，利用多视角低动态范围图像（LDR）重建高动态范围（HDR）辐射场。在薄透镜相机模型的基础上，通过高斯分布的解析卷积以及色调映射模块，使得重建的场景能够渲染出具有灵活聚焦能力的HDR内容。

本文的重点在于提出了一种轻量级方法来解决现有radiance field方法的问题，并且能够实现实时电影渲染。实验使用了多视角LDR图像的数据集，并且通过比较实验证明了本文的方法优于现有的方法。

在相关研究中，最近也有一些关于radiance field方法的研究。例如：《Deep Radiance Fields for Real-Time View Synthesis》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。