View-Consistent 3D Editing with Gaussian Splatting

3D高斯喷洒（3DGS）的出现彻底改变了3D编辑，提供了高效、高保真度的渲染，并实现了精确的局部操作。目前，基于扩散的2D编辑模型被用来修改多视角渲染图像，然后指导3DGS模型的编辑。然而，这种方法面临着多视角不一致的关键问题，指导图像在不同视角下存在显著的差异，导致3DGS的模式崩溃和视觉伪影。为此，我们引入了一种名为View-consistent Editing（VcEdit）的新框架，将3DGS无缝地融入图像编辑过程中，确保编辑后的指导图像在多视角下保持一致，并有效地减轻了模式崩溃的问题。VcEdit采用了两个创新的一致性模块：交叉注意力一致性模块和编辑一致性模块，两者都旨在减少编辑图像中的不一致性。通过将这些一致性模块纳入迭代模式中，VcEdit能够有效地解决多视角不一致的问题，从而促进在各种场景下进行高质量的3DGS编辑。更多代码和视频结果可在http://yuxuanw.me/vcedit/上获得。

解决问题：论文解决了3DGS模型中多视角不一致的问题，通过引入View-consistent Editing (VcEdit)框架，有效减少了模型崩溃和视觉伪影等问题。

关键思路：论文提出了两个一致性模块：交叉注意力一致性模块和编辑一致性模块，通过迭代模式将它们融入到VcEdit框架中，实现了编辑过程中多视角一致性的保持。

亮点：论文提出的VcEdit框架能够有效地解决3DGS模型中多视角不一致的问题，同时在实验中使用了多个数据集进行验证，并公开了代码和视频结果。

相关研究：最近的相关研究包括《Multi-view Consistency as Supervisory Signal for Learning Shape and Pose Prediction》和《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》等。