TrAME: Trajectory-Anchored Multi-View Editing for Text-Guided 3D Gaussian Splatting Manipulation

尽管在三维场景编辑领域取得了重大进展，但当前的方法仍然面临着巨大的挑战，特别是在保持多视图编辑过程中的三维一致性方面。为了解决这个挑战，我们提出了一种渐进式的三维编辑策略，通过一种轨迹锚定方案(TAS)和双分支编辑机制来确保多视图一致性。具体来说，TAS促进了2D视图编辑和3D更新之间的紧密耦合的迭代过程，防止了由文本到图像过程产生的误差积累。此外，我们探讨了基于优化的方法和基于重建的方法之间的关系，为选择更优的设计选择提供了统一的视角，支持设计TAS的基本原理。我们进一步提出了一个无需调整的视图一致性注意力控制(VCAC)模块，利用源分支的跨视图语义和几何参考，从目标分支产生对齐的视图。为了验证我们方法的有效性，我们分析了2D示例，以展示VCAC模块的改进一致性。进一步的定量和定性结果表明，在文本引导的3D场景编辑方面，我们的方法相比现有技术实现了更高的编辑质量。我们将在双盲审查过程结束后公开完整的代码库。

本文旨在解决3D场景编辑中的多视图一致性问题，提出了一种基于Trajectory-Anchored Scheme（TAS）和双分支编辑机制的渐进式3D编辑策略。

该方法通过TAS实现了2D视图编辑和3D更新之间的紧密耦合迭代过程，避免了由文本到图像过程产生的误差积累。此外，还引入了View-Consistent Attention Control（VCAC）模块，利用源分支的跨视图语义和几何参考，实现了对目标分支的2D视图进行对齐。同时，本文探讨了优化方法和重建方法之间的关系，为选择更优的设计方案提供了统一的视角，支持所设计的TAS的理论基础。

本文在2D示例分析中展示了VCAC模块提高一致性的效果，并在文本引导的3D场景编辑方面进行了广泛的定量和定性结果分析，证明了本方法相对于现有方法具有更优的编辑质量。本文将在双盲评审过程结束后公开完整的代码库。

相关研究包括3D场景编辑、多视图一致性和深度学习应用等方面，如《Neural 3D Mesh Renderer》、《Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation》等。