HDR-GS: Efficient High Dynamic Range Novel View Synthesis at 1000x Speed via Gaussian Splatting

2024年05月24日
  • 简介
    本文提出了一种新的框架,高动态范围高斯点云投影(HDR-GS),可以使用HDR成像技术从新视角高效地渲染新颖的HDR图像,并根据用户输入的曝光时间重建LDR图像。该方法使用双动态范围(DDR)高斯点云模型来拟合HDR颜色,并采用基于MLP的色调映射器来渲染LDR颜色。然后,HDR和LDR颜色被输入到两个并行可微分光栅化(PDR)过程中,以重建HDR和LDR视角。为了建立3D高斯点云投影方法在HDR NVS研究中的数据基础,我们重新校准了相机参数,并计算了高斯点云的初始位置。实验结果表明,我们的HDR-GS在LDR和HDR NVS上的表现优于基于NeRF的最先进方法,分别提高了3.84和1.91 dB,同时享有1000倍的推理速度和仅需6.3%的训练时间。
  • 图表
  • 解决问题
    提出一个新的High Dynamic Range Gaussian Splatting (HDR-GS)框架,以有效地渲染新的HDR视图和重建LDR图像。主要解决现有的HDR NVS方法训练时间长、推理速度慢的问题。
  • 关键思路
    设计了一个Dual Dynamic Range (DDR)高斯点云模型,使用球谐函数来拟合HDR颜色,并采用基于MLP的色调映射器来渲染LDR颜色。然后将HDR和LDR颜色输入到两个并行可微分光栅化(PDR)过程中,重建HDR和LDR视图。
  • 其它亮点
    实验结果表明,HDR-GS在LDR和HDR NVS上均优于现有的NeRF方法,并且推理速度快1000倍,仅需要6.3%的训练时间。
  • 相关研究
    最近的相关研究包括NeRF、DeepVoxels、DIB-R等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论