- 简介3D高斯喷洒(3DGS)以其快速、可解释和高保真度的渲染,已经改变了新视角合成的方法。然而,其资源需求限制了其可用性。特别是在受限设备上,训练性能会迅速下降,并且由于模型的内存消耗过多,通常无法完成。该方法收敛于无限数量的高斯函数,其中许多是冗余的,使得渲染变得不必要缓慢,并防止其在期望固定大小输入的下游任务中使用。为了解决这些问题,我们应对了在预算范围内训练和渲染3DGS模型的挑战。我们使用引导纯构造致密化过程,将致密化引导到提高重构质量的高斯函数。模型大小以可控的方式持续增加,朝着精确的预算方向,使用基于分数的高斯函数致密化和测量其贡献的训练时间先验。我们进一步解决了训练速度障碍:在对3DGS的原始流程进行仔细分析后,我们推导出更快、数值等效的梯度计算和属性更新解决方案,包括一种替代并行化的高效反向传播方法。我们还提出了适当的质量保持近似,以进一步减少训练时间。综合这些增强功能,我们得到了一个具有降低训练时间、计算和内存要求以及高质量的稳健、可扩展的解决方案。我们的评估表明,在预算范围内,我们获得了与3DGS相当的质量度量,同时实现了模型大小和训练时间的4-5倍降低。在更慷慨的预算下,我们测得的质量超过了他们的质量。这些进展为受限环境下的新视角合成,例如移动设备,打开了大门。
- 图表
- 解决问题论文旨在解决3D高斯喷洒(3DGS)在资源限制设备上训练和渲染时所遇到的问题,包括内存消耗过大,收敛速度慢等。
- 关键思路论文采用引导的、纯构造的密集化过程,控制模型大小,使其逐渐增加到预算的精确值,使用训练时间先验来衡量高斯函数的贡献。此外,论文还提出了一些优化方法,如快速、数值等效的梯度计算和属性更新,以及质量保持逼近等。
- 其它亮点论文的亮点包括:在预算范围内,模型大小和训练时间都可以减少4-5倍,而仍能获得与3DGS相当的质量指标;在更宽松的预算范围内,论文的质量指标甚至超过了3DGS。论文使用了一些数据集,并提供了开源代码。值得进一步研究的工作包括在受限环境下进行新视角合成等。
- 与此相关的研究包括:基于深度学习的新视角合成、在资源受限设备上的深度学习模型优化等。
沙发等你来抢
去评论
评论
沙发等你来抢