3DMambaIPF: A State Space Model for Iterative Point Cloud Filtering via Differentiable Rendering

2024年04月08日
  • 简介
    噪声是点云获取的不可避免的方面,因此在三维视觉领域中,滤波是一项基本任务。现有的基于学习的滤波方法已经在小规模的合成或实际数据集上展现出了很好的性能。然而,当处理大量点云时,这些方法的有效性受到限制。这种限制主要源于它们在处理大规模点云时的有限去噪能力,以及在去噪后产生噪声离群点的倾向。自然语言处理中用于长序列建模的状态空间模型(SSMs)的最近引入为处理大规模数据提供了有希望的解决方案。在迭代点云滤波方法的鼓励下,我们首次将Mamba(选择性SSM)架构引入到3DMambaIPF中,以便顺序处理大场景中的大量点云,充分利用其在选择性输入处理和长序列建模能力方面的优势。此外,我们还集成了一个强大且快速的可微分渲染损失来限制表面周围的噪点。与以往的方法相比,这种可微分渲染损失增强了去噪几何结构的视觉逼真度,并将点云边界与实际物体观察到的边界更加贴近。对包括小规模合成和实际模型(通常具有高达50K个点)的数据集进行了广泛的评估,结果表明我们的方法达到了最先进的水平。此外,我们展示了我们的方法在大约500K个点的大规模模型上具有卓越的可扩展性和效率,而大多数现有的基于学习的去噪方法无法处理这种大规模数据。
  • 作者讲解
  • 图表
  • 解决问题
    解决点云数据噪声滤波的问题,特别是针对大规模点云数据的噪声滤波问题。
  • 关键思路
    使用State Space Models (SSMs)进行长序列建模,结合differentiable rendering loss来处理大规模点云数据的噪声滤波问题。
  • 其它亮点
    论文提出了一种新的点云噪声滤波方法3DMambaIPF,结合了SSMs和differentiable rendering loss,能够有效处理大规模点云数据的噪声滤波问题,并且在小规模和大规模数据集上都取得了最先进的结果。论文使用了开源数据集,并提供了代码。
  • 相关研究
    相关研究包括PointNet、PointNet++、DGCNN等基于深度学习的点云处理方法,以及基于传统信号处理的方法如Moving Least Squares (MLS)等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问