Instruct 4D-to-4D: Editing 4D Scenes as Pseudo-3D Scenes Using 2D Diffusion

本文提出了Instruct 4D-to-4D，该方法在2D扩散模型中实现4D意识和时空一致性，以生成高质量的指令引导动态场景编辑结果。传统的2D扩散模型在动态场景编辑中的应用经常导致不一致，主要是由于它们固有的逐帧编辑方法。为了解决将指令引导编辑扩展到4D的复杂性，我们的关键见解是将4D场景视为伪3D场景，分解为两个子问题：在视频编辑中实现时间一致性并将这些编辑应用于伪3D场景。因此，我们首先使用锚点感知注意力模块增强Instruct-Pix2Pix（IP2P）模型，以进行批处理和一致性编辑。此外，我们采用滑动窗口方式集成光流引导的外观传播，以进行更精确的逐帧编辑，并结合基于深度的投影来管理伪3D场景的大量数据，然后进行迭代编辑以实现收敛。我们在各种场景和编辑指令中广泛评估了我们的方法，并证明它实现了空间和时间一致的编辑结果，在细节和清晰度方面显著优于现有技术。值得注意的是，Instruct 4D-to-4D通用且适用于单目和具有挑战性的多摄像头场景。代码和更多结果可在immortalco.github.io/Instruct-4D-to-4D上获得。

本论文旨在解决2D扩散模型在动态场景编辑中的不一致性问题，并提出了Instruct 4D-to-4D，通过将4D场景视为伪3D场景，分为两个子问题来解决：实现视频编辑的时间一致性和将这些编辑应用于伪3D场景。

本论文的关键思路是将Instruct-Pix2Pix（IP2P）模型与锚定感知注意力模块相结合，以实现批处理和一致的编辑，并采用滑动窗口的光流引导外观传播进行更精确的帧间编辑，并结合基于深度的投影来管理伪3D场景的大量数据，最后通过迭代编辑来实现收敛。

本论文的亮点在于，它可以广泛应用于单眼和具有挑战性的多摄像头场景，能够实现空间和时间上一致的编辑结果，并且比先前的研究具有显着增强的细节和清晰度。此外，论文提供了代码和更多结果，并在各种场景和编辑指令中进行了广泛评估。

最近在这个领域中，还有一些相关的研究，例如：“Video Editing with Temporal, Spatial, and Appearance Consistency via Self-Supervised Learning”和“Spatio-Temporal Neural Networks for Video Segmentation and Tracking”。