RGB2Point: 3D Point Cloud Generation from Single RGB Images

我们介绍了RGB2Point，这是一种基于Transformer的无姿态单视角RGB图像到3D点云生成方法。RGB2Point接受一个物体的输入图像并生成一个密集的3D点云。与基于CNN层和扩散去噪方法的先前工作不同，我们使用预训练的Transformer层，这些层速度快，生成的点云质量始终如一。我们生成的点云在真实世界数据集上表现出高质量，这可以通过改进的Chamfer距离（51.15%）和Earth Mover's距离（45.96%）指标来证明，与当前最先进的方法相比。此外，我们的方法在合成数据集上表现出更好的质量，实现更好的Chamfer距离（39.26%）、Earth Mover's距离（26.95%）和F-score（47.16%）。此外，我们的方法相比之前的方法在各种物体类别上产生了63.1%更一致的高质量结果。此外，RGB2Point的计算效率很高，仅需要2.3GB的VRAM来从单个RGB图像重建3D点云，我们的实现比SOTA基于扩散的模型快15133倍。

本文旨在解决从单张RGB图像生成3D点云的问题，使用Transformer网络进行处理。该问题在当前领域内仍然存在并且是一个新问题。

本文的关键思路是使用预训练的Transformer网络代替CNN和扩散去噪方法，以生成高质量的3D点云。这种方法速度快，生成的点云质量稳定，并且在真实和合成数据集上都表现出色。

本文的实验设计充分，使用了真实和合成数据集，并且开源了代码。与当前最先进的扩散方法相比，本文的方法生成的点云质量更高，而且更加一致。此外，本文的方法在计算效率方面也具有优势。

与本文相关的其他研究包括：Learning to Generate 3D Point Clouds with Conditional Shape and Style Generation、DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation、Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images等。