GaussianEditor: Editing 3D Gaussians Delicately with Text Instructions

最近，基于2D扩散模型的文本指令在3D场景编辑方面取得了令人印象深刻的成果。然而，当前的扩散模型主要通过预测潜在空间中的噪声来生成图像，并且通常将编辑应用于整个图像，这使得对3D场景进行精细，特别是局部编辑具有挑战性。受最近3D高斯喷洒的启发，我们提出了一个系统化的框架，名为GaussianEditor，通过3D高斯和文本指令精细地编辑3D场景。由于3D高斯的显式属性，我们设计了一系列技术来实现精细的编辑。具体而言，我们首先提取与文本指令对应的感兴趣区域（RoI），将其对齐到3D高斯上。高斯RoI进一步用于控制编辑过程。我们的框架可以比以前的方法更精细，更精确地编辑3D场景，同时享受更快的训练速度，即在单个V100 GPU上仅需20分钟，比Instruct-NeRF2NeRF（45分钟-2小时）快两倍以上。

本篇论文旨在解决3D场景编辑中的精细化编辑问题，提出了一种名为GaussianEditor的系统框架。

GaussianEditor框架通过3D高斯分布来控制编辑过程，实现了对3D场景的精细化编辑。

论文设计了一系列技术来实现精细化编辑，包括提取感兴趣区域、对齐到3D高斯分布等。实验表明，GaussianEditor框架比之前的方法更加精细和准确，并且训练速度更快。

最近在这个领域的相关研究包括Instruct-NeRF2NeRF和3D Gaussian splatting等。