PAPR in Motion: Seamless Point-level 3D Scene Interpolation

我们提出了点级别的3D场景插值问题，旨在从多个视角同时重建两个状态下的3D场景，合成它们之间平滑的点级别插值，并从新视角渲染场景，而且在两个状态之间没有任何监督。主要的挑战在于实现状态之间的平滑过渡，这可能涉及到显著的非刚性变化。为了解决这些挑战，我们引入了“PAPR in Motion”，这是一种新颖的方法，建立在最近的接近度注意点渲染（PAPR）技术之上，可以将点云变形以匹配显著不同的形状，并在非刚性变形后呈现视觉上连贯的场景。我们的方法专门设计用于通过引入各种正则化技术来保持几何结构的时间一致性。结果是一种方法，可以有效地跨越大的场景变化，并在几何和外观上产生视觉上连贯和时间上平滑的插值。对不同运动类型的评估表明，“PAPR in Motion”优于动态场景的领先神经渲染器。有关更多结果和代码，请访问我们的项目网站https://niopeng.github.io/PAPR-in-Motion/。

点级别3D场景插值问题，如何在没有监督的情况下从多个视角重建两个状态的3D场景，合成它们之间的平滑点级插值，并从新的视角渲染场景？

引入基于近距离关注点渲染（PAPR）技术的新方法“PAPR in Motion”，通过各种正则化技术保持几何结构的时间一致性，从而有效地跨越大的场景变化，并在几何和外观上产生视觉上连贯和时间上平滑的插值。

实验表明，“PAPR in Motion”在各种运动类型上的表现优于领先的动态场景神经渲染器。研究者提供了项目网站，并公开了代码和数据集。

近期的相关研究包括：DeepSDF、NeRF、GRAF等。