LRM-Zero: Training Large Reconstruction Models with Synthesized Data

我们介绍了 LRM-Zero，它是一个完全基于合成 3D 数据训练的大型重建模型（LRM），能够实现高质量的稀疏视图 3D 重建。LRM-Zero 的核心是我们的程序化 3D 数据集 Zeroverse，它是从简单的基本形状自动合成的，具有随机纹理和增强效果（例如高度场、布尔差分和线框）。与以前的 3D 数据集（例如 Objaverse）通常是由人类捕捉或制作来近似真实 3D 数据不同，Zeroverse 完全忽略了现实的全局语义，但在复杂的几何和纹理细节方面非常丰富，这些细节在局部上与真实对象类似甚至更加复杂。我们展示了我们的 LRM-Zero，用我们完全合成的 Zeroverse 进行训练，可以在重建真实世界物体时实现高质量的视觉效果，与在 Objaverse 上训练的模型相当。我们还分析了 Zeroverse 的几个关键设计选择，这些选择有助于 LRM-Zero 的能力和训练稳定性。我们的工作表明，3D 重建，作为 3D 视觉的核心任务之一，可能可以在不考虑真实世界对象语义的情况下解决。Zeroverse 的程序化合成代码和交互式可视化可在以下网址找到：https://desaixie.github.io/lrm-zero/。

本论文旨在通过使用完全合成的3D数据进行训练，实现高质量的稀疏视图3D重建。通过使用Zeroverse这个完全合成的3D数据集，该论文试图解决在3D视觉领域中的重建问题。

该论文的关键思路是使用完全合成的3D数据集进行训练，而不是使用近似真实3D数据集。Zeroverse数据集是通过简单的基本形状和随机纹理自动合成的，忽略了真实的全局语义，但具有复杂的几何和纹理细节，可以训练出高质量的3D重建模型。

该论文的亮点包括：使用完全合成的数据集进行训练，可以实现高质量的3D重建；Zeroverse数据集是通过简单的基本形状和随机纹理自动合成的，可以忽略真实的全局语义，但具有复杂的几何和纹理细节；该论文提出的LRM-Zero模型可以与使用Objaverse数据集训练的模型相媲美；Zeroverse数据集的合成代码和交互式可视化已经开源。

在最近的相关研究中，还有一些关于3D重建的研究，例如：《Sparse-to-Dense: Depth Prediction from Sparse Depth Samples and a Single Image》、《3D-R2N2: A Unified Approach for Single and Multi-view 3D Object Reconstruction》。