Real-time High-resolution View Synthesis of Complex Scenes with Explicit 3D Visibility Reasoning

在计算机图形学领域中，以照片真实感渲染复杂场景的新视点图像一直是一个长期的挑战。近年来，在视图合成领域，人们在提高渲染质量和加速渲染速度方面取得了巨大的研究进展。然而，在渲染稀疏视图下的复杂动态场景时，由于遮挡问题，渲染质量仍然受到限制。此外，对于动态场景上的高分辨率图像渲染，渲染速度仍然远远不及实时。在这项工作中，我们提出了一种通用的视图合成方法，可以从稀疏视图实时渲染复杂静态和动态场景的高分辨率新视点图像。为了解决由于输入视图的稀疏性和捕获场景的复杂性而产生的遮挡问题，我们引入了一种显式的三维可见性推理方法，可以有效地估计采样的三维点对输入视图的可见性。所提出的可见性推理方法是完全可微的，并可以优雅地适应于体积渲染流水线，使我们能够仅使用多视图图像作为监督来训练我们的网络，同时精细地调整几何和纹理。此外，我们流水线中的每个模块都经过精心设计，以绕过耗时的MLP查询过程并提高高分辨率图像的渲染质量，使我们能够实时渲染高分辨率新视点图像。实验结果表明，我们的方法在渲染质量和速度方面优于以前的视图合成方法，特别是在处理稀疏视图下的复杂动态场景时。

论文旨在解决复杂动态场景下稀疏视图的渲染问题，提出一种通用的视图合成方法，能够从稀疏视图实时渲染出高分辨率的复杂静态和动态场景的新视图图像。

论文提出了一种显式的三维可见性推理方法，能够有效地估计采样的三维点对于输入视图的可见性，解决了由于输入视图的稀疏性和捕捉场景的复杂性而导致的遮挡问题。该方法是全可微的，可以优雅地适应体积渲染管道，同时在只使用多视图图像作为监督的情况下训练网络，同时精细地调整几何和纹理。此外，管道中的每个模块都经过精心设计，绕过了耗时的MLP查询过程，提高了高分辨率图像的渲染质量，使我们能够实时渲染高分辨率的新视图图像。

论文的实验结果表明，该方法在渲染质量和速度方面优于以前的视图合成方法，特别是在处理复杂动态场景的稀疏视图时。论文还使用了多个数据集进行实验验证，并开源了代码。

在这个领域中，最近的相关研究包括《Neural Sparse Voxel Fields》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。