HPC: Hierarchical Progressive Coding Framework for Volumetric Video

基于神经辐射场（NeRF）的体积渲染视频在各种3D应用中具有巨大的潜力，但其庞大的数据量对于压缩和传输提出了重大挑战。目前的NeRF压缩缺乏在单个模型中调整视频质量和比特率以适应各种网络和设备容量的灵活性。为了解决这些问题，我们提出了一种新颖的分层渐进式体积视频编码框架HPC，通过一个单一的模型实现可变比特率。具体而言，HPC引入了一个分层表示，使用多分辨率残差辐射场来减少长时间序列中的时间冗余，同时生成各种细节级别。然后，我们提出了一种端到端的渐进式学习方法，使用多速率失真损失函数来联合优化分层表示和压缩。我们的HPC只需训练一次即可实现多个压缩级别，而当前的方法需要为不同的速率失真（RD）权衡训练多个固定比特率的模型。广泛的实验证明，HPC通过单个模型实现了灵活的质量级别和可变比特率，并展现出竞争性的RD性能，甚至在各种数据集上优于固定比特率模型。

HPC论文提出了一种层次渐进式编码框架，旨在解决NeRF压缩和传输中的数据量大的问题。

HPC引入了层次结构和多分辨率残差辐射场，通过多速率失真损失函数实现可变比特率，从而实现单一模型的灵活质量等级和比特率控制。

HPC通过一次训练实现多个压缩水平，同时在各种数据集上展现出出色的性能。

相关研究包括：NeRF、渐进式视频编码、多速率视频编码等。