DreamDissector: Learning Disentangled Text-to-3D Generation from 2D Diffusion Priors

最近，文本到3D生成取得了显著进展。为了增强其在实际应用中的实用性，生成具有交互作用的多个独立对象非常重要，类似于2D图像编辑中的图层合成。然而，现有的文本到3D方法在这个任务上面临困难，因为它们被设计用来生成非独立对象或缺乏空间合理交互的独立对象。针对这个问题，我们提出了DreamDissector，一种文本到3D方法，能够生成具有交互作用的多个独立对象。DreamDissector接受多对象文本到3D NeRF作为输入，并生成独立的纹理网格。为了实现这一点，我们引入了神经类别场（NeCF）来解开输入NeRF。此外，我们提出了类别分数蒸馏采样（CSDS），通过深度概念挖掘（DCM）模块来解决扩散模型中的概念差距问题。通过利用NeCF和CSDS，我们可以有效地从原始场景中派生子NeRFs。进一步的细化可以增强几何和纹理。我们的实验结果验证了DreamDissector的有效性，为用户提供了控制对象级别的3D合成的新手段，可能为未来的各种创意应用开辟了道路。

解决问题：本论文旨在提出一种能够生成多个相互独立的物体并且具有相互作用的文本到三维模型生成方法，以增强其在实际应用中的实用性。

关键思路：本文提出了一种名为DreamDissector的文本到三维模型生成方法，它能够接受多物体文本到三维模型作为输入，并生成相互独立的有纹理网格。为了实现这一目标，本文引入了神经类别场（NeCF）来解开输入的多物体文本到三维模型，同时提出了基于深度概念挖掘模块的类别得分蒸馏采样（CSDS）来解决扩散模型中的概念差距问题。通过利用NeCF和CSDS，可以有效地从原始场景中派生子NeRF。进一步的细化提高了几何和纹理。

其他亮点：本文的实验结果验证了DreamDissector的有效性，为用户提供了在对象级别控制三维合成的新手段，并可能为未来的各种创意应用开辟道路。本文使用了多个数据集，并提供了开源代码。

相关研究：最近在这个领域中，还有一些相关研究，如NeRF、Pixel2Mesh和NERD等。