C3DAG: Controlled 3D Animal Generation using 3D pose guidance

最近的文本生成三维技术已经展示了生成高质量三维模型的能力。然而，在生成动物方面，这些方法表现不佳，经常呈现出不准确的解剖和几何结构。为了改善这个缺陷，我们提出了C3DAG，一种新颖的姿态控制文本生成三维动物生成框架，可以生成与给定姿态一致的高质量三维动物。我们还引入了一种自动三维形状创建工具，可以通过基于Web的工具实现动态姿态生成和修改，并使用简单的几何形状生成三维气球动物。然后，使用深度控制的SDS使用这个三维形状初始化NeRF。在下一阶段，预训练的NeRF使用四足姿态控制的SDS进行微调。我们开发的流程不仅可以产生几何和解剖一致的结果，而且可以呈现高度可控的三维动物，不像以前的方法不允许精细的姿态控制。

论文旨在解决文本转3D动物生成中存在的几何和解剖学不准确的问题，并提供细粒度的姿态控制。

论文提出了一种新的姿态控制的文本转3D动物生成框架，使用自动的3D形状创建工具生成基于简单几何体的3D气球动物，通过深度控制SDS初始化NeRF模型并进行fine-tuning，实现了几何和解剖学上的一致性以及细粒度的姿态控制。

论文提供了一个自动的3D形状创建工具和一个基于web的动态姿态生成和修改工具，实验结果表明该方法生成的3D动物在几何和解剖学上更加准确，同时提供了精细的姿态控制，具有很高的实用价值。

最近的相关研究包括：1. Learning to Generate 3D Meshes with Neural Networks；2. Neural 3D Mesh Renderer；3. DeepSDF。