InseRF: Text-Driven Generative Object Insertion in Neural 3D Scenes

我们介绍了InseRF，这是一种新颖的方法，用于在3D场景的NeRF重建中生成插入物体。基于用户提供的文本描述和参考视点中的2D边界框，InseRF在3D场景中生成新的物体。最近，由于在3D生成建模中使用了文本到图像扩散模型的强先验知识，3D场景编辑的方法已经发生了深刻的变化。现有的方法大多在通过样式和外观的变化或删除现有的物体来编辑3D场景方面非常有效。然而，对于这种方法来说，生成新的物体仍然是一个挑战，我们在本研究中解决了这个问题。具体来说，我们建议将3D对象插入基于参考视图的2D对象插入。然后，使用单视图对象重建方法将2D编辑提升到3D。然后，在单目深度估计方法的先验知识的指导下，将重建的对象插入到场景中。我们在各种3D场景上评估了我们的方法，并对所提出的组件进行了深入分析。我们在几个3D场景中进行物体生成插入的实验表明，与现有方法相比，InseRF能够进行可控和3D一致的物体插入，而不需要明确的3D信息作为输入。请访问我们的项目页面https://mohamad-shahbazi.github.io/inserf。

本论文旨在解决在3D场景中生成新物体的问题，尤其是在没有明确3D信息的情况下进行生成。

该论文提出了一种基于用户提供的文本描述和参考视点中的2D边界框，将3D物体插入到场景中的方法。具体来说，通过将3D物体插入到参考视图中的2D边界框中，然后使用单视图物体重建方法将2D编辑升级到3D，再根据单目深度估计方法的先验知识指导插入重建的物体，从而实现可控和3D一致的物体插入。

该论文的亮点包括：1.提出了一种新的方法来解决3D场景中生成新物体的问题；2.实现了可控和3D一致的物体插入，不需要明确的3D信息；3.在多个3D场景中进行了实验，证明了该方法的有效性。该论文还提供了项目页面和开源代码。

最近的相关研究包括：1.使用文本描述生成3D场景的方法；2.使用图像编辑技术进行3D场景编辑的方法。