ComboVerse: Compositional 3D Assets Creation Using Spatially-Aware Diffusion Guidance

在各种应用中，如AR/VR等，从给定图像生成高质量的3D资产非常理想。最近单图像3D生成的进展探索了学习推断物体的3D模型而不需要优化的前向模型。虽然在单个对象生成方面取得了有希望的结果，但这些方法通常难以对内在包含多个对象的复杂3D资产进行建模。在这项工作中，我们提出了ComboVerse，一个3D生成框架，通过学习结合多个模型来生成具有复杂构成的高质量3D资产。1）我们首先从模型和数据的角度对这个“多对象间隙”进行了深入分析。2）接下来，通过不同对象的重建3D模型，我们试图调整它们的大小、旋转角度和位置，以创建与给定图像相匹配的3D资产。3）为了自动化这个过程，我们应用了预训练扩散模型的空间感知分数蒸馏采样（SSDS）来指导物体的定位。与标准分数蒸馏采样相比，我们提出的框架强调物体的空间对齐，从而实现更准确的结果。广泛的实验验证了ComboVerse在生成组合3D资产方面比现有方法取得了明显的改进。

ComboVerse论文旨在解决单个对象生成模型难以处理包含多个对象的复杂3D模型的问题。该论文提出了一种学习组合多个模型的方法，以生成具有复杂组合的高质量3D模型。

ComboVerse的关键思路是学习如何组合不同的3D模型以生成符合给定图像的3D模型。该方法使用空间感知分数蒸馏采样（SSDS）来指导对象的位置，以实现更准确的结果。

论文通过深入分析“多对象间隙”的模型和数据角度，提出了一种自动化生成3D模型的方法。该方法强调对象的空间对齐，相比标准分数蒸馏采样，可以实现更准确的结果。论文在多个数据集上进行了实验，并证明ComboVerse在生成组合3D模型方面的性能优于现有方法。

最近的相关研究包括单个对象的3D生成和多个对象的3D生成。其中一些论文包括《Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation》和《Learning to Generate 3D Objects with Fewer Labeled Data》。