Progress and Prospects in 3D Generative AI: A Technical Overview including 3D human

2024年01月05日
  • 简介
    人工智能生成的文本和二维图像继续扩大其领域,而三维生成逐渐成为一个不可忽视的趋势。自2023年以来,大量的研究论文在三维生成领域涌现。这种增长不仅包括3D物体的创建,还包括3D角色和运动生成的快速发展。几个关键因素促成了这一进展。增强的稳定扩散保真度,加上确保多视角一致性和逼真的人类模型(如SMPL-X)的控制方法,协同作用下产生了具有显著一致性和接近逼真外观的3D模型。基于神经网络的3D存储和渲染模型的进步,如神经辐射场(NeRF)和3D高斯喷洒(3DGS),加速了神经渲染模型的效率和逼真程度。此外,大型语言模型的多模态能力使语言输入能够转化为人类运动输出。本文旨在全面概述和总结2023年后半年发表的相关论文。它将从讨论AI生成的3D物体模型开始,接着是生成的3D人类模型,最后是生成的3D人类运动,最终得出一个结论性摘要和未来的愿景。
  • 图表
  • 解决问题
    3D生成是一个不容忽视的趋势,本文旨在提供关于AI生成3D物体、人物和动作的综述和总结。
  • 关键思路
    本文介绍了增强的稳定扩散保真度、多视角一致性控制方法、现实人体模型和神经网络3D存储和渲染模型等因素在3D生成领域的应用。同时,本文还介绍了大型语言模型的多模态能力,使语言输入转化为人体动作输出。
  • 其它亮点
    本文重点介绍了AI生成3D物体、人物和动作的最新研究进展,包括Neural Radiance Fields (NeRF)和3D Gaussian Splatting (3DGS)等神经网络3D存储和渲染模型的应用,以及大型语言模型的多模态能力。实验使用了SMPL-X等现实人体模型和多个数据集。本文提供了未来研究的方向和展望。
  • 相关研究
    最近的相关研究包括:《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》、《3D Human Pose and Shape Estimation from a Single Low-Resolution Image with Self-Supervised Learning》、《Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论