Robust Gaussian Splatting

2024年04月05日
  • 简介
    本文主要解决了3D高斯点阵(3DGS)中的常见误差源,包括模糊、不完美的相机姿态和颜色不一致性,旨在提高其在实际应用中的鲁棒性,如从手持手机捕捉的重建。我们的主要贡献是将运动模糊建模为相机姿态上的高斯分布,从而使我们能够以统一的方式解决相机姿态细化和运动模糊校正。此外,我们提出了机制来补偿虚焦模糊,并解决由环境光、阴影或由于相机相关因素(如不同的白平衡设置)引起的颜色不一致性。我们提出的解决方案与3DGS公式无缝集成,同时保持其在培训效率和渲染速度方面的优势。我们在相关基准数据集(包括Scannet++和Deblur-NeRF)上进行了实验验证,获得了最先进的结果,从而在相关基线上实现了一致的改进。
  • 图表
  • 解决问题
    本文旨在解决3D高斯点插值(3DGS)中的常见误差源,包括模糊、不完美的相机姿态和颜色不一致性,以提高其在实践应用中的鲁棒性,如从手持手机捕捉的重建。作者的主要贡献在于将运动模糊建模为相机姿态上的高斯分布,从而使我们能够以统一的方式解决相机姿态的精细化和运动模糊校正。此外,我们提出了机制来补偿虚焦模糊并解决由环境光、阴影或由于相机相关因素(如不同的白平衡设置)引起的颜色不一致性。我们的解决方案与3DGS公式无缝集成,同时保持其在培训效率和渲染速度方面的优点。作者在Scannet++和Deblur-NeRF等相关基准数据集上进行了实验验证,获得了最先进的结果,因此相对于相关基线实现了一致的改进。
  • 关键思路
    本文的关键思路是将运动模糊建模为相机姿态上的高斯分布,以统一解决相机姿态的精细化和运动模糊校正,并提出机制来补偿虚焦模糊和解决颜色不一致性。
  • 其它亮点
    本文提出了解决3D高斯点插值中常见误差源的方法,包括模糊、不完美的相机姿态和颜色不一致性。作者将运动模糊建模为相机姿态上的高斯分布,以统一解决相机姿态的精细化和运动模糊校正。此外,作者提出了机制来补偿虚焦模糊并解决颜色不一致性。作者在Scannet++和Deblur-NeRF等相关基准数据集上进行了实验验证,获得了最先进的结果,相对于相关基线实现了一致的改进。
  • 相关研究
    最近在这个领域中,还有一些相关的研究,如《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论