A3D: Does Diffusion Dream about 3D Alignment?

我们从几何对齐的角度解决了文本驱动的3D生成问题。我们的目标是生成多个在语义和几何上一致的对象。最近基于得分蒸馏的方法已经成功地将2D扩散模型的知识蒸馏到由3D神经辐射场表示的高质量对象中。这些方法分别处理多个文本查询，因此生成的对象在物体姿态和结构上具有高度的可变性。然而，在一些应用中，比如几何编辑，获得对齐的对象是可取的。为了实现对齐，我们提出了通过建模文本嵌入的线性配对插值空间来优化对齐对象之间的连续轨迹，并使用单个NeRF表示。我们证明，由语义对应部分组成的相似对象可以在3D空间中很好地对齐，而无需对生成过程进行昂贵的修改。我们提供了几个实际场景，包括网格编辑和对象混合，这些场景受益于几何对齐，并通过实验证明了我们方法的效率。

本论文旨在从几何对齐的角度解决文本驱动的3D生成问题，通过优化对齐对象之间的连续轨迹，实现一致的语义和几何一致性。

通过建模文本嵌入的线性成对插值空间，使用单个NeRF表示，实现对齐对象之间的连续轨迹优化，从而实现一致的语义和几何一致性。

论文提出的方法可以在不修改生成过程的情况下实现语义相关部分的对齐，对于网格编辑和对象混合等实际场景具有实际应用价值。实验结果表明了该方法的有效性。

在这个领域，最近的相关研究包括基于Score Distillation的方法，以及其他文本驱动的3D生成方法，如3D-GAN和3D-VAE等。