VideoHandles: Editing 3D Object Compositions in Videos Using Video Generative Priors

生成式图像和视频编辑方法利用生成模型作为先验，在信息不完整的情况下执行编辑任务，例如改变单个图像中显示的3D对象的构成。最近的方法在图像设置中展示了有希望的构成编辑结果，但在视频设置中，编辑方法主要集中在编辑对象的外观和运动或摄像机的运动上，因此，针对视频中对象构成的编辑方法仍然缺失。我们提出了\name作为一种用于编辑带有摄像机运动的静态场景视频中3D对象构成的方法。我们的方法允许以时间一致的方式编辑视频中所有帧的3D对象的3D位置。这是通过将生成模型的中间特征提升到所有帧共享的3D重建中，编辑该重建，并将特征从编辑后的重建重新投影回每一帧来实现的。据我们所知，这是第一个用于编辑视频中对象构成的生成方法。我们的方法简单且无需训练，同时优于最先进的图像编辑基线方法。

该论文试图解决在视频中编辑3D物体组成的问题，尤其是在包含摄像机运动的静态场景视频中。此前的方法主要集中在编辑物体外观、运动或摄像机运动，而缺乏对物体组成的编辑能力。这是一个新问题，因为之前的研究多集中于图像而非视频中的3D对象编辑。

论文提出了一种名为\name的方法，通过将生成模型的中间特征提升到一个所有帧共享的3D重建中，编辑该3D重建，然后将编辑后的特征投影回每个帧，从而实现视频中3D物体位置的时序一致编辑。这一方法是无训练的，并且首次使用生成模型来编辑视频中的物体组成，这与现有研究相比具有创新性。

1. 提出了首个针对视频中3D物体组成的编辑方法。 2. 方法简单且无需训练，同时性能优于最先进的图像编辑基准。 3. 实验设计包括了验证方法在不同视频上的效果，确保编辑结果的时间一致性。 4. 研究使用了公开数据集进行实验，并可能开源代码以供后续研究使用。 5. 值得进一步研究的方向包括提高编辑精度、扩大适用范围以及探索更多类型的视频编辑。

最近在这个领域，相关研究包括： - "Image2StyleGAN: Towards Controllable Image Generation"，探讨了基于StyleGAN的可控图像生成。 - "NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis"，提出了神经辐射场表示场景的新方法。 - "MonoDepth2: Monocular Depth Estimation via Listwise Ranking using the Ordinal Path Aggregation Network"，研究了单目深度估计。 这些工作主要关注图像生成和视图合成，但本论文聚焦于视频中3D物体组成的编辑，填补了这一领域的空白。