D^2USt3R: Enhancing 3D Reconstruction with 4D Pointmaps for Dynamic Scenes

我们研究了动态场景中的3D重建问题，在这类场景中，物体的运动降低了之前3D点图回归方法（如DUSt3R）的质量，而这些方法最初是为静态3D场景重建设计的。尽管这些方法在静态环境中提供了一种优雅且强大的解决方案，但在存在动态运动的情况下，它们的表现较差，因为仅基于相机姿态的对齐会被破坏。为了解决这一问题，我们提出了D^2USt3R，这是一种回归4D点图的方法，能够以前馈的方式同时捕捉静态和动态的3D场景几何结构。通过显式地结合空间和时间维度，我们的方法成功地将时空密集对应关系封装到所提出的4D点图中，从而提升了下游任务的性能。大量的实验评估表明，我们提出的方法在包含复杂运动的各种数据集上，始终展现出优越的重建性能。

该论文试图解决动态场景中3D重建的问题，特别是当物体运动导致基于相机姿态的对齐失效时，如何准确地重建场景。这是一个具有挑战性的问题，因为传统方法（如DUSt3R）主要针对静态场景设计，而动态场景中的复杂运动会对重建质量造成严重影响。

论文提出了一种名为D^2USt3R的新方法，通过回归4D点云图（pointmaps）来同时捕捉静态和动态的3D场景几何结构。相比现有方法仅关注空间信息，D^2USt3R显式地结合了时空特征，从而实现了对动态场景更鲁棒的重建。这种方法的核心创新在于引入时间维度，并在前向传播过程中直接生成包含动态变化的4D表示。

1. 该方法能够处理复杂的动态场景，显著提升了重建性能；2. 在多个数据集上进行了广泛的实验验证，结果表明其在复杂运动场景下的表现优于现有方法；3. 提出了明确的时空密集对应关系建模方式，为下游任务提供了更好的支持；4. 论文提到代码可能开源（需进一步确认），这将有助于后续研究者复现和改进。

近年来，关于动态场景3D重建的研究逐渐增多，例如：1) "Dynamic Scene Reconstruction with Moving Objects" 提出了一种分离静态背景与动态对象的方法；2) "4D Neural Fields for Dynamic Scenes" 利用神经场技术建模动态场景；3) "Temporal Consistency in Multi-View Stereo" 强调了时间一致性在多视角立体重建中的重要性。这些研究共同推动了动态场景理解的发展，但D^2USt3R的独特之处在于其端到端的时空联合建模能力。