3D Gaussian Editing with A Single Image

在各种应用中，从现实世界中捕捉到的3D场景的建模和操作是至关重要的，吸引了越来越多的研究兴趣。虽然以前的编辑工作通过操作3D网格实现了有趣的结果，但它们通常需要精确重建的网格才能执行编辑，这限制了它们在3D内容生成中的应用。为了弥补这一差距，我们引入了一种基于3D高斯喷洒的新型单图像驱动的3D场景编辑方法，通过直接在2D图像平面上编辑内容实现直观操作。我们的方法学习优化3D高斯函数，使其与从原始场景的用户指定视点渲染的编辑版本的图像对齐。为了捕捉远程对象变形，我们在3D高斯喷洒的优化过程中引入位置损失，并通过重新参数化实现梯度传播。为了处理从指定视点渲染时遮挡的3D高斯函数，我们建立了一个基于锚点的结构，并采用了粗到细的优化策略，能够处理长距离变形同时保持结构稳定。此外，我们设计了一种新的掩膜策略，以自适应地识别非刚性变形区域进行精细建模。大量实验证明了我们的方法在处理几何细节、长距离和非刚性变形方面的有效性，相比以前的方法，展示了更高的编辑灵活性和质量。

本论文旨在解决基于单张图片进行3D场景编辑的问题，尤其是在没有准确的3D网格重建的情况下进行编辑的问题。

本文提出了一种基于3D高斯喷洒的单张图片驱动的3D场景编辑方法，通过直接在2D图像平面上编辑内容来实现直观的操作。

本文提出的方法通过学习优化3D高斯函数来对齐从用户指定视点渲染的原始场景的编辑版本，以捕捉长程物体形变，并通过重新参数化实现梯度传播。此外，本文还设计了一种新的掩膜策略，以自适应地识别非刚性变形区域进行精细建模。实验结果表明，与以往方法相比，本文的方法在处理几何细节、长程和非刚性变形方面具有更强的编辑灵活性和质量。

与此相关的研究包括基于3D网格的编辑方法，以及基于深度学习的单张图像驱动3D重建方法和3D场景编辑方法。