GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

3D编辑在诸如游戏和虚拟现实等许多领域中发挥着至关重要的作用。传统的基于网格和点云等表示的3D编辑方法在真实地描绘复杂场景方面经常表现不佳。另一方面，基于隐式3D表示的方法，例如神经辐射场（NeRF），可以有效地渲染复杂场景，但处理速度较慢且对特定场景区域的控制有限。为应对这些挑战，我们的论文提出了GaussianEditor，这是一种基于Gaussian Splatting（GS）的创新且高效的3D编辑算法，该算法采用了一种新颖的3D表示方法。通过我们提出的Gaussian语义跟踪，GaussianEditor在编辑中提高了精度和控制，该方法可以在训练过程中跟踪编辑目标。此外，我们提出了分层高斯喷洒（HGS），以在来自2D扩散模型的随机生成指导下实现稳定和精细的结果。我们还开发了编辑策略，以实现高效的对象删除和集成，这是现有方法面临的一项具有挑战性的任务。我们全面的实验表明，GaussianEditor具有卓越的控制力、有效性和快速性能，这标志着3D编辑领域的重要进展。项目页面：https://buaacyw.github.io/gaussian-editor/

论文旨在解决传统3D编辑方法和基于implicit 3D representations的方法的局限性，提出一种基于Gaussian Splatting的高效3D编辑算法，增强编辑的精度和控制性。

论文的关键思路是提出一种基于Gaussian Splatting的3D编辑算法，并通过Gaussian semantic tracing和Hierarchical Gaussian splatting等方法增强编辑的精度和控制性。相比当前的研究，该算法具有更高的效率和更好的控制性能。

论文通过实验验证了GaussianEditor算法的优越性，包括更好的控制性能、更高的效率和更好的编辑效果。论文还提出了针对对象移除和整合的编辑策略，并开源了代码和数据集。

最近在这个领域中，还有一些相关的研究，如Neural Radiance Field (NeRF)等。