GaussCtrl: Multi-View Consistent Text-Driven 3D Gaussian Splatting Editing

我们提出了一种名为GaussCtrl的文本驱动方法，用于编辑由3D高斯喷洒（3DGS）重建的3D场景。 我们的方法首先使用3DGS渲染一组图像，并使用基于输入提示的预训练2D扩散模型（ControlNet）对其进行编辑，然后用于优化3D模型。 我们的关键贡献是多视角一致性编辑，它使得可以同时编辑所有图像，而不是像以前的方法一样迭代地编辑一个图像并同时更新3D模型。 这导致编辑速度更快，视觉质量更高。 这是通过以下两个术语实现的： （a）深度条件编辑，通过利用自然一致的深度图在多视角图像之间强制实现几何一致性。 （b）基于注意力的潜在代码对齐，通过自我和交叉视图之间的注意力来调整多个参考视图的外观，从而统一编辑图像的外观。 实验表明，我们的方法比先前最先进的方法实现了更快的编辑和更好的视觉效果。

本论文旨在提出一种文本驱动的方法，用于编辑由3D高斯点插值（3DGS）重建的3D场景。其旨在解决如何更快地编辑3D模型并获得更好的视觉效果的问题。

本论文的关键思路是多视角一致性编辑，通过深度条件编辑和基于注意力的潜在编码对齐两个方面实现。这种方法可以同时编辑所有图像，而不是像以前的方法一样迭代地编辑一个图像并更新3D模型。

本文提出的方法可以更快速地编辑3D模型并获得更好的视觉效果。实验使用了多个数据集进行验证，并且开源了代码。本文的方法可以为3D场景编辑领域提供新的思路。

在最近的研究中，也有一些关于3D场景编辑的相关研究，如：DeepSDF、Pixel2Mesh、IM-NET等。