Representing Long Volumetric Video with Temporal Gaussian Hierarchy

本文旨在解决从多视角RGB视频重建长时间体视频的挑战。最近的动态视图合成方法利用强大的4D表示，如特征网格或点云序列，以实现高质量的渲染结果。然而，这些方法通常仅限于短（1~2秒）视频片段，在处理更长的视频时往往面临巨大的内存占用问题。为了解决这一问题，我们提出了一种新颖的4D表示方法，称为时间高斯层次结构，用于紧凑地建模长时间体视频。我们的关键观察是，动态场景中通常存在不同程度的时间冗余，这些区域的变化速度不同。基于这一点，我们的方法构建了一个多级的4D高斯基元层次结构，每一层分别描述具有不同内容变化程度的场景区域，并自适应地在不同的时间片段中共享高斯基元来表示不变的场景内容，从而有效减少高斯基元的数量。此外，高斯层次结构的树状结构使我们能够使用一部分高斯基元高效地表示某一时刻的场景，从而在训练或渲染过程中几乎保持恒定的GPU内存使用量，无论视频长度如何。大量的实验结果表明，与替代方法相比，我们的方法在训练成本、渲染速度和存储使用方面具有优越性。据我们所知，这是第一个能够在保持最先进的渲染质量的同时，高效处理数分钟体视频数据的方法。我们的项目页面可在以下网址访问：https://zju3dv.github.io/longvolcap。

该论文旨在解决从多视角RGB视频重建长时间体视频的挑战。现有的动态视图合成方法虽然能实现高质量的渲染效果，但通常局限于短时间（1~2秒）的视频片段，并且在处理更长视频时会遇到较大的内存占用问题。

论文提出了一种名为Temporal Gaussian Hierarchy（时间高斯层次结构）的新型4D表示方法，通过构建多层级的4D高斯原语来紧凑地建模长时间体视频。每个层级分别描述不同变化速度的场景区域，并自适应地共享高斯原语以表示不同时段内未改变的场景内容，从而有效减少所需高斯原语的数量。此外，高斯层次结构的树状结构使得在特定时刻表示场景时只需使用部分高斯原语，从而在训练或渲染过程中几乎保持恒定的GPU内存使用量，不论视频长度如何。

论文通过广泛的实验展示了其方法在训练成本、渲染速度和存储使用方面的优越性。这是首个能够高效处理分钟级体视频数据并保持最先进渲染质量的方法。项目页面提供了更多详细信息，包括代码和实验结果：https://zju3dv.github.io/longvolcap。未来的研究可以进一步探索更高效的高斯原语表示方法，以及在更大规模数据集上的应用。

近期在这个领域中的相关研究包括： - "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis" (ECCV 2020) - "MVSNeRF: Multi-View Stereo Meets Neural Radiance Fields" (CVPR 2021) - "DynamicNeRF: Neural Radiance Fields for Dynamic Scenes" (ICCV 2021) - "PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows" (ICML 2019) 这些研究主要集中在短时间动态场景的表示和渲染上，而本论文则提出了处理长时间体视频的新方法。