ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

3D高斯喷洒（3DGS）已成为许多视觉任务中3D表示的事实标准。这要求在这个表示空间中直接进行3D理解。为了促进这个方向的研究，我们首先使用常用的ShapeNet和ModelNet数据集构建了一个大规模的3DGS数据集。我们的数据集ShapeSplat包含来自87个独特类别的65K个对象，其标签与各自的数据集相符。这个数据集的创建利用了在TITAN XP GPU上相当于2个GPU年的计算。我们利用我们的数据集进行无监督预训练和监督微调，用于分类和分割任务。为此，我们介绍了\textbf{\textit{Gaussian-MAE}}，它突出了从高斯参数进行表示学习的独特优点。通过详尽的实验，我们提供了几个有价值的见解。特别是，我们展示了（1）优化的GS质心的分布与均匀采样的点云（用于初始化）的对应物显著不同；（2）这种分布的变化导致分类的退化，但在仅使用质心时，分割任务有所改善；（3）为了利用额外的高斯参数，我们提出了在归一化特征空间中的高斯特征分组，以及喷洒池化层，提供了一个量身定制的解决方案，以有效地组合和嵌入相似的高斯，从而在微调任务中得到显着的改进。

本论文旨在解决在许多视觉任务中广泛使用的3D高斯喷洒（3DGS）的3D表示方法的问题，即如何在这个表示空间中进行3D理解。

论文提出了一种新的表示学习方法，名为Gaussian-MAE，利用高斯参数进行无监督预训练和有监督微调，通过高斯特征分组和喷洒池化层有效地组合和嵌入相似的高斯，以提高分类和分割任务的性能。

论文建立了一个大规模的3DGS数据集ShapeSplat，利用该数据集进行了实验，并提供了一些有价值的见解，如优化的GS质心分布与均匀采样的点云分布显著不同，这种分布的变化导致分类下降但分割任务提高，使用额外的高斯参数，提出了高斯特征分组和喷洒池化层，提高了微调任务的性能。

在这个领域中，最近的相关研究包括："Octree-based Point Cloud Compression with Adaptive Bitrate Control"和"3D Object Detection with Point-based Attention and Voxel-based Reasoning"。