YouDream: Generating Anatomically Controllable Consistent Text-to-3D Animals

3D文本到图像扩散模型引导的生成使得视觉上引人注目的资产的创作成为可能。然而，以往的方法探索基于图像或文本的生成。创造力的边界受限于通过语言表达或可以获取的图像。我们提出了YouDream，一种生成高质量解剖可控动物的方法。YouDream使用3D姿势先验的2D视图控制的文本到图像扩散模型进行引导。我们的方法生成的3D动物是以前的文本到3D生成方法无法创建的。此外，我们的方法能够在生成的动物中保留解剖一致性，这是以前的文本到3D方法经常遇到困难的领域。此外，我们设计了一个完全自动化的流程来生成常见的动物。为了避免需要人工介入创建3D姿势，我们提出了一个多代理LLM，从有限的动物3D姿势库中调整姿势以代表所需的动物。对YouDream结果的用户研究表明，我们的方法生成的动物模型优于其他方法。Turntable结果和代码发布在https://youdream3d.github.io/。

论文旨在解决使用文本生成高质量三维动物模型时遇到的限制和挑战，包括受限于文本和图像来源的创造性边界以及保持解剖一致性的问题。

该论文提出了一种新的方法YouDream，使用2D视图的三维姿势先验控制文本到图像扩散模型，生成高质量的可解剖控制动物模型。此外，还提出了一个多代理LLM来自动化生成常见的动物模型，无需人类干预来创建三维姿势。

该论文的亮点包括：1.使用YouDream方法生成的三维动物模型不受以往文本到三维生成方法的限制，具有更高的创造性；2.该方法能够保持生成的动物模型的解剖一致性；3.设计了一个完全自动化的流程来生成常见的动物模型；4.进行了用户研究，证明了YouDream生成的动物模型优于其他方法；5.研究人员公开了Turntable结果和代码。

最近的相关研究包括：1.文本到图像生成模型，如StyleGAN和CLIP；2.文本到三维生成模型，如3D-GAN和ShapeHD；3.三维动物姿势控制方法，如SPIN和SMPL-X。