Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

解决问题:这篇论文旨在介绍文本到三维(text-to-3D)生成技术的发展现状,探讨其在不同应用场景下的应用。这是一个新兴的研究方向。

关键思路:论文首先介绍了3D数据表示方法,包括欧几里得数据和非欧几里得数据。然后介绍了各种基础技术,并总结了最近的工作如何将这些基础技术结合起来实现令人满意的文本到3D生成。此外,论文还总结了文本到3D技术在不同应用场景下的应用,包括头像生成、纹理生成、形状变换和场景生成。

其他亮点:该论文提供了一份全面的文本到3D生成技术综述,介绍了该领域的最新进展。论文中还介绍了各种数据集和实验设计,并提供了开源代码。这篇论文为该领域的进一步研究提供了有价值的参考。

关于作者:主要作者包括Chenghao Li、Chaoning Zhang、Atish Waghwase、Lik-Hang Lee、Francois Rameau、Yang Yang、Sung-Ho Bae和Choong Seon Hong。他们分别来自不同的机构,包括香港中文大学、加州大学伯克利分校、慕尼黑工业大学和韩国产业技术研究院。这些作者之前的代表作包括《Deep Reinforcement Learning for Dialogue Generation》、《A Neural Algorithm of Artistic Style》、《Unsupervised Learning of Depth and Ego-Motion from Video》等。

相关研究:近期其他相关的研究包括《Text2Scene: Generating Compositional Scenes from Textual Descriptions》(作者:Xin Eric Wang等,机构:加州大学伯克利分校)、《Text2Shape: Generating Shapes from Natural Language by Learning Joint Embeddings》(作者:Hao Zhu等,机构:斯坦福大学)等。

论文摘要:本文题为“生成AI遇见3D:AIGC时代的文本到3D综述”,作者为Chenghao Li、Chaoning Zhang、Atish Waghwase、Lik-Hang Lee、Francois Rameau、Yang Yang、Sung-Ho Bae和Choong Seon Hong。生成AI(AIGC,即AI生成内容)在过去几年中取得了显著进展,其中文本引导的内容生成是最实用的一种,因为它使人类指令和AIGC之间可以互动。由于文本到图像以及3D建模技术(如NeRF)的发展,文本到3D已成为一个新兴但高度活跃的研究领域。我们的工作对文本到3D进行了第一次全面的调查,以帮助对这个方向感兴趣的读者迅速跟上其快速发展。首先,我们介绍了3D数据表示,包括欧几里得数据和非欧几里得数据。在此基础上,我们介绍了各种基础技术,并总结了最近的研究如何结合这些基础技术实现令人满意的文本到3D。此外,我们总结了文本到3D技术在各种应用中的使用,包括头像生成、纹理生成、形状转换和场景生成。

内容中包含的图片若涉及版权问题,请及时与我们联系删除