Mipmap-GS: Let Gaussians Deform with Scale-specific Mipmap for Anti-aliasing Rendering

2024年08月12日
  • 简介
    3D高斯点插值(3DGS)因其出色的渲染效率和高保真度而在新视角合成中受到广泛关注。然而,训练出的高斯点由于来自单尺度训练得到的不可调整的表示而遭受严重的缩放退化。尽管一些方法尝试通过后处理技术(如选择性渲染或针对基元的滤波技术)来解决这个问题,但是这些方法都没有涉及到高斯点的尺度特定信息。本文提出了一种统一的优化方法,通过自适应基元属性(例如颜色、形状和大小)和分布(例如位置)来使高斯点适应任意尺度。受到mipmap技术的启发,我们为目标尺度设计了伪基准,并提出了尺度一致性指导损失,将尺度信息注入3D高斯点中。我们的方法是一个插件模块,适用于任何3DGS模型,以解决缩放中的混叠问题。广泛的实验表明了我们方法的有效性。值得注意的是,我们的方法在NeRF合成数据集上的缩放中,相对于3DGS,PSNR平均提高了9.25 dB(缩小)和10.40 dB(放大)。
  • 作者讲解
  • 图表
  • 解决问题
    解决问题:论文旨在解决3D高斯喷洒(3DGS)中的缩放退化问题,通过自适应调整原始属性和分布来使高斯函数适应任意比例尺度。
  • 关键思路
    关键思路:通过设计伪地面真值和引入尺度一致性指导损失,将尺度信息注入到3D高斯函数中,从而解决缩放退化问题。
  • 其它亮点
    其他亮点:论文提出的方法是可插拔的模块,适用于任何3DGS模型,实验结果表明,与3DGS相比,在NeRF Synthetic数据集上,缩小平均提高9.25 dB,放大平均提高10.40 dB。
  • 相关研究
    相关研究:最近的相关研究包括Selective Rendering和Mipmap技术等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问