Meta 3D Gen

我们介绍了Meta 3D Gen（3DGen），这是一种新的、最先进的快速文本到3D资产生成流程。3DGen可以在不到一分钟的时间内创建高保真度、高质量的3D形状和纹理的3D资产。它支持基于物理的渲染（PBR），这在实际应用中需要进行3D资产重照明。此外，3DGen还支持使用用户提供的额外文本输入对先前生成的（或艺术家创建的）3D形状进行生成性重贴图。3DGen集成了我们为文本到3D和文本到纹理生成开发的关键技术组件Meta 3D AssetGen和Meta 3D TextureGen。通过结合它们的优势，3DGen同时以三种方式表示3D对象：在视图空间中、在体积空间中和在UV（或纹理）空间中。这两种技术的集成在单级模型方面实现了68%的胜率。我们将3DGen与许多行业基准进行比较，并展示了它在复杂文本提示的忠实度和视觉质量方面优于它们，同时速度显著更快。

3DGen是一种新的文本到3D资产生成方法，旨在提供高保真度和高质量的3D形状和纹理，同时支持物理渲染，解决了文本到3D生成的速度和质量问题。

3DGen将Meta 3D AssetGen和Meta 3D TextureGen两种技术相结合，同时在视图空间、体积空间和UV空间中呈现3D对象，实现了68%的胜率，相比单阶段模型更具优势。

3DGen支持快速生成高保真度和高质量的3D资产，同时支持生成性重构，实验结果表明其速度和质量超过了其他行业基准，值得进一步研究。

最近在这个领域中，还有一些相关的研究，如《Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings》、《Text2Scene: Generating Compositional Scenes from Textual Descriptions》等。