LiveNVS: Neural View Synthesis on Live RGB-D Streams

现有的实时RGB-D重建方法，如Kinect Fusion，缺乏实时的逼真可视化。这是由于从不完美的深度图和相机姿态融合出来的噪声、过度平滑或不完整的几何和模糊的纹理。最近的神经渲染方法可以克服许多这样的伪影，但大多数都是针对离线使用进行优化，阻碍了其集成到实时重建流程中。 在本文中，我们提出了LiveNVS，一个系统，它允许在实时RGB-D输入流上进行神经新视角合成，并具有非常低的延迟和实时渲染。基于RGB-D输入流，通过将神经特征投影到目标视图中，通过密集融合的深度图将特征在图像空间聚合到目标特征图中，然后通过通用的神经网络将目标特征图转换为高质量的RGB图像，实现了未知场景的最先进的神经渲染质量，允许用户在捕获过程中实时虚拟探索场景并评估重建质量。

LiveNVS论文旨在解决实时RGB-D重建方法中缺乏实时照片级真实感可视化的问题，提出了一种能够在低延迟和实时渲染的情况下对RGB-D输入流进行神经新视角合成的系统。

LiveNVS系统通过将神经特征投影到目标视角并通过密集融合深度图在图像空间中将特征聚合到目标特征图中，然后使用通用的神经网络将目标特征图转换为高质量的RGB图像，从而实现了未知场景的最先进的神经渲染质量。

LiveNVS系统可以在捕捉过程中实现最先进的神经渲染质量，使用户能够实时地虚拟探索场景并评估重建质量。此外，论文还介绍了实验的设计和使用的数据集，并提供了开源代码。

近期在这个领域中的相关研究包括：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis，Learning to Reconstruct 3D Manhattan Wireframes from a Single Image，DeepVoxels: Learning Persistent 3D Feature Embeddings。