View-Consistent 3D Editing with Gaussian Splatting

3D高斯喷洒（3DGS）的出现彻底改变了3D编辑，提供了高效、高保真的渲染，并使精确的局部操作成为可能。目前，基于扩散的2D编辑模型被用来修改多视角渲染图像，然后指导3DGS模型的编辑。然而，这种方法面临一个关键问题，即多视角不一致性，即指导图像在不同视角下存在显著的差异，导致3DGS的模式崩溃和视觉伪影。为此，我们引入了一种名为View-consistent Editing（VcEdit）的新框架，它将3DGS无缝地融入到图像编辑过程中，确保编辑后的指导图像具有多视角一致性，并有效地缓解了模式崩溃问题。VcEdit采用了两个创新的一致性模块：交叉注意力一致性模块和编辑一致性模块，两者都旨在减少编辑图像中的不一致性。通过将这些一致性模块纳入迭代模式，VcEdit能够有效地解决多视角不一致性问题，促进在各种场景下进行高质量的3DGS编辑。

论文旨在解决3DGS编辑中的多视角不一致性问题，该问题导致编辑的引导图像在视角上存在显著差异，从而导致3DGS的模式崩溃和视觉伪影。

VcEdit框架通过引入交叉注意力一致性模块和编辑一致性模块，将3DGS无缝融合到图像编辑过程中，从而确保编辑后的引导图像在多视角下一致，并有效地减轻模式崩溃问题。

VcEdit框架通过两个一致性模块的迭代模式，有效地解决了3DGS编辑中的多视角不一致性问题。论文使用了多个数据集进行实验，证明了VcEdit框架的有效性和优越性。论文提供了开源代码，可供其他研究者使用和改进。

最近的相关研究包括基于深度学习的图像编辑和3D编辑，以及基于视觉注意力的图像编辑。相关论文包括《Deep Image Harmonization》、《Neural 3D Mesh Renderer》和《Attention-based Image Editing》等。