3DitScene: Editing Any Scene via Language-guided Disentangled Gaussian Splatting

场景图像编辑对于娱乐、摄影和广告设计至关重要。现有的方法仅专注于2D单个对象或3D全局场景编辑。这导致缺乏一种统一的方法来有效地控制和操作具有不同粒度的3D场景。在这项工作中，我们提出了3DitScene，这是一个新颖的统一场景编辑框架，利用语言引导的分离高斯喷洒，实现了从2D到3D的无缝编辑，允许精确控制场景组合和单个对象。我们首先引入了通过生成先验和优化技术细化的3D高斯函数。然后，来自CLIP的语言特征将语义引入3D几何中，以进行对象分离。通过分离的高斯函数，3DitScene允许在全局和单个级别上进行操作，彻底改变了创意表达方式，赋予了对场景和对象的控制能力。实验结果证明了3DitScene在场景图像编辑中的有效性和通用性。代码和在线演示可在我们的项目主页上找到：https://zqh0253.github.io/3DitScene/。

论文旨在提出一种新的、统一的场景图像编辑框架，使得可以在不同粒度的情况下对场景进行精确控制和操作，从而解决现有方法在2D个体对象或3D全局场景编辑方面的局限性。

论文提出了一种名为3DitScene的新的场景编辑框架，利用语言引导的分解高斯散点技术，从2D到3D实现了无缝编辑，允许精确控制场景构成和个体对象。通过将3D高斯函数与生成式先验和优化技术相结合，再利用CLIP中的语言特征将语义引入3D几何中进行对象分解。利用分解高斯函数，3DitScene允许在全局和个体层面上进行操作，从而革新了创意表达，增强了场景和对象的控制能力。

论文通过实验验证了3DitScene在场景图像编辑方面的有效性和多功能性。论文提供了代码和在线演示，并使用了多个数据集。此外，论文还值得关注的亮点包括提出了一种新的、统一的场景编辑框架，使得可以在不同粒度的情况下对场景进行精确控制和操作，并且利用CLIP中的语言特征将语义引入3D几何中进行对象分解。

最近在这个领域中，还有一些相关的研究，如：《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》、《DIB-R: Differentiable Interpolation-Based Renderer for Implicit 3D Shapes》等。