DATENeRF: Depth-Aware Text-based Editing of NeRFs

最近扩散模型的进展在基于文本提示的2D图像编辑方面表现出了显著的熟练度。然而，将这些技术扩展到编辑神经辐射场（NeRF）中的场景是复杂的，因为编辑单个2D帧可能会导致多个视图之间的不一致性。我们的关键见解是，NeRF场景的几何形状可以作为一个桥梁来整合这些2D编辑。利用这个几何形状，我们使用深度条件控制网络来增强每个2D图像修改的连贯性。此外，我们引入了一种修复方法，利用NeRF场景的深度信息将2D编辑分布到不同的图像中，确保对错误和重采样挑战的鲁棒性。我们的结果表明，这种方法比现有的领先方法更能实现基于文本驱动的NeRF场景编辑的一致、逼真和详细的编辑。

本论文旨在解决将文本提示应用于NeRF场景编辑时的一致性和细节问题，以及如何将2D编辑与NeRF场景的几何形状相结合。

通过利用NeRF场景的几何形状，使用深度条件的ControlNet增强每个2D图像修改的一致性，并引入一种修补方法，利用NeRF场景的深度信息在不同图像之间分配2D编辑，从而确保对错误和重采样挑战的鲁棒性。

实验结果显示，这种方法比现有的领先方法实现了更一致、更逼真、更详细的编辑。论文使用了多个数据集进行实验，并且提供了开源代码。

最近的相关研究包括：《DALL-E: Creating Images from Text》、《Generative Pretraining Transformer 3D (GPT-3D)》、《Neural Radiance Fields for Unconstrained Photo Collections》等。