TSC-PCAC: Voxel Transformer and Sparse Convolution Based Point Cloud Attribute Compression for 3D Broadcasting

点云是先进3D应用，如虚拟现实和增强现实的主流表示形式。然而，点云数据量庞大是传输和存储中最具挑战性的问题之一。本文提出了一种基于端到端体素Transformer和稀疏卷积的点云属性压缩(TSC-PCAC)方法，用于3D广播。首先，我们提出了TSC-PCAC的框架，其中包括基于Transformer和稀疏卷积模块(TSCM)的变分自编码器和通道上下文模块。其次，我们提出了一个两阶段的TSCM，第一阶段专注于建模点云的局部依赖和特征表示，第二阶段通过包括更大的感受野的空间和通道池化来捕获全局特征。该模块有效地提取全局和局部点间关联性以减少信息冗余。第三，我们设计了一个基于TSCM的通道上下文模块来利用通道间的相关性，从而提高量化潜在表示的预测概率分布，从而降低比特率。实验结果表明，与Sparse-PCAC、NF-PCAC和G-PCC v23方法相比，所提出的TSC-PCAC方法平均实现了38.53%、21.30%和11.19%的Bjontegaard Delta比特率降低。与Sparse-PCAC相比，编码/解码时间成本平均降低了97.68%/98.78%。TSC-PCAC的源代码和训练模型可在https://github.com/igizuxo/TSC-PCAC上获得。

本论文旨在解决点云数据在3D广播中传输和存储所面临的海量数据量的挑战。

论文提出了一种基于变分自编码器、Transformer和稀疏卷积模块的点云属性压缩方法TSC-PCAC。其中，TSCM模块分为两个阶段，第一阶段关注点云的局部依赖关系和特征表示，第二阶段通过空间和通道池化捕捉全局特征。此外，论文还设计了基于TSCM的通道上下文模块，以利用通道间的相关性来提高量化潜在表示的预测概率分布，从而降低比特率。

实验结果表明，相较于Sparse-PCAC、NF-PCAC和G-PCC v23方法，TSC-PCAC方法平均实现了38.53%、21.30%和11.19%的比特率降低。同时，与Sparse-PCAC相比，编码/解码时间成本平均降低了97.68%/98.78%。TSC-PCAC的源代码和训练模型可在GitHub上获得。

近期在点云压缩领域的相关研究包括："Point Cloud Geometry Compression with Graph Convolutional Neural Networks"、"Point Cloud Attribute Compression with Graph Convolutional Neural Networks"等。