TripoSG: High-Fidelity 3D Shape Synthesis using Large-Scale Rectified Flow Models

最近在扩散技术方面的进展将图像和视频生成的质量提升到了前所未有的水平，显著加速了生成式人工智能的部署和应用。然而，3D形状生成技术至今仍落后，受到3D数据规模、3D数据处理复杂性以及高级技术在3D领域探索不足的限制。当前的3D形状生成方法在输出质量、泛化能力和与输入条件的对齐方面面临着重大挑战。我们提出了TripoSG，这是一种新的简化形状扩散范式，能够生成高保真的3D网格，并与输入图像精确对应。 具体而言，我们提出：1) 一种用于3D形状生成的大规模校正流变压器，通过在大量高质量数据上训练，实现了最先进的保真度。2) 一种结合SDF（符号距离函数）、法线和Eikonal损失的混合监督训练策略，用于3D变分自编码器（VAE），实现了高质量的3D重建性能。3) 一个数据处理管道，用于生成200万个高质量的3D样本，突显了数据质量和数量在训练3D生成模型中的关键作用。 通过全面的实验，我们验证了新框架中每个组件的有效性。这些部分的无缝集成使TripoSG在3D形状生成方面达到了最先进的性能。生成的3D形状由于高分辨率能力而表现出增强的细节，并且对输入图像具有卓越的保真度。此外，TripoSG在从不同风格和内容的图像生成3D模型方面展示了更高的灵活性，证明了其强大的泛化能力。为了促进3D生成领域的进步和创新，我们将公开发布我们的模型。

论文试图解决3D形状生成技术在质量、泛化能力和与输入条件的对齐方面存在的显著挑战。这些问题导致3D形状生成技术落后于图像和视频生成技术的发展。这并不是一个全新的问题，但该研究针对当前3D生成模型的局限性提出了具体的改进方案。

关键思路在于提出了一种名为TripoSG的新框架，该框架包括：1) 一个大规模的修正流变换器用于3D形状生成，通过大量高质量数据训练以提高保真度；2) 结合SDF、法线和eikonal损失的混合监督训练策略，实现高质量的3D重建；3) 一种数据处理管道，生成200万个高质量3D样本。这些创新旨在克服现有3D生成技术的数据规模和处理复杂性的限制。

实验设计全面验证了每个组件的有效性。使用了大规模、高质量的3D数据集，并计划公开模型代码，促进领域内的进一步研究。此外，TripoSG展示了生成高分辨率、细节丰富且忠实于输入图像的3D形状的能力，以及从不同风格和内容的图像生成3D模型的强大泛化能力。

最近的相关研究包括：1) 使用神经辐射场（NeRF）进行3D场景重建；2) 基于点云的3D对象生成；3) 利用对抗生成网络（GAN）改进3D形状生成的质量。一些相关研究论文标题如《PointFlow: 3D Point Cloud Generation with Continuous Normalizing Flows》、《Occupancy Networks: Learning 3D Reconstruction in Function Space》等。