CMU | 基于光线条件采样的高保真6DoF视频表示

来自今天的爱可可AI前沿推介

[CV] HyperReel: High-Fidelity 6-DoF Video with Ray-Conditioned Sampling

B Attal, J Huang, C Richardt, M Zollhoefer, J Kopf, M O'Toole, C Kim
[CMU & Meta]

HyperReel: 基于光线条件采样的高保真6DoF视频表示

要点:

1. 提出一种光线条件采样预测网络，可在高分辨率下实现高保真度、高帧率的渲染，以及一种紧凑且内存高效的动态体表示；
2. 将以上两核心部分结合，提出HyperReel，一种 6-DoF 视频表示，在实时渲染百万像素分辨率的同时，在速度、质量和内存之间取得了理想的平衡；
3. HyperReel 在内存要求小、渲染速度和实时渲染百万像素分辨率等多个方面均优于其他方法。

一句话总结:
HyperReel 是一种新的 6-DoF 视频表示，将光线条件采样网络与基于关键帧的动态体表示相结合，能实时渲染百万像素分辨率的同时，在渲染质量、速度和内存效率之间取得了平衡。

摘要：
体场景表示可为静态场景提供照片级逼真的视图合成，并成为几种现有 6-DoF 视频技术的基础。但是，驱动这些表示的体渲染过程需要在质量、渲染速度和内存效率方面进行谨慎的权衡。特别是，现有方法无法同时在具有挑战性的现实世界场景中实现实时性能、小内存占用和高质量渲染。为了解决这些问题，本文提出 HyperReel——一种新的 6-DoF 视频表示。HyperReel 的两个核心组成部分是：（1）光线条件采样预测网络，可在高分辨率下实现高保真度、高帧率的渲染；（2）紧凑且内存高效的动态体表示。所提出的 6-DoF 视频管线在视觉质量和内存要求小方面达到了与之前和最新方法相比的最佳性能，同时还可在没有任何自定义 CUDA 代码的情况下以每秒 18 帧的速度在百万像素分辨率下进行渲染。

Volumetric scene representations enable photorealistic view synthesis for static scenes and form the basis of several existing 6-DoF video techniques. However, the volume rendering procedures that drive these representations necessitate careful trade-offs in terms of quality, rendering speed, and memory efficiency. In particular, existing methods fail to simultaneously achieve real-time performance, small memory footprint, and high-quality rendering for challenging real-world scenes. To address these issues, we present HyperReel -- a novel 6-DoF video representation. The two core components of HyperReel are: (1) a ray-conditioned sample prediction network that enables high-fidelity, high frame rate rendering at high resolutions and (2) a compact and memory efficient dynamic volume representation. Our 6-DoF video pipeline achieves the best performance compared to prior and contemporary approaches in terms of visual quality with small memory requirements, while also rendering at up to 18 frames-per-second at megapixel resolution without any custom CUDA code.

论文链接：https://arxiv.org/abs/2301.02238