Bits-to-Photon: End-to-End Learned Scalable Point Cloud Compression for Direct Rendering

点云是一种有前途的三维表示方法，适用于新兴的增强现实/虚拟现实应用中的体积流媒体。尽管点云压缩方面取得了一些进展，但从有损压缩的点云中解码和渲染高质量图像仍然具有挑战性，无论是在质量还是复杂性方面，这都是实现实时六自由度视频流的主要障碍。本文通过开发一种点云压缩方案来解决这个问题，该方案生成的比特流可以直接解码为可渲染的三维高斯函数。编码器和解码器共同优化，考虑比特率和渲染质量，从而显著提高了渲染质量，同时大大减少了解码和渲染时间，与现有的点云压缩方法相比。此外，所提出的方案生成可扩展的比特流，允许在不同比特率范围内具有多个细节级别。我们的方法支持实时颜色解码和高质量点云渲染，为具有自由视角的交互式三维流媒体应用铺平了道路。

解决点云在AR/VR应用中压缩、解码和渲染的质量和复杂性问题，以实现实时的6自由度视频流。

提出一种点云压缩方案，生成可直接解码为可渲染的3D高斯函数的比特流。同时考虑比特率和渲染质量进行编码器和解码器的联合优化，生成可扩展的比特流，支持实时彩色解码和高质量点云渲染。

本论文提出的点云压缩方案在保证渲染质量的同时，显著减少了解码和渲染时间，相比现有的点云压缩方法具有较大优势。此外，该方案生成的比特流可扩展，支持不同比特率范围内的多个细节级别。

近期相关研究包括："Point Cloud Compression: A Survey"，"Rate-Distortion Optimized Point Cloud Geometry Coding with Adaptive Neighbor Configuration"，"Real-Time Point Cloud Compression for Mobile Devices"等。