DRoPS: Dynamic 3D Reconstruction of Pre-Scanned Objects

近年来，基于随意拍摄视频的动态场景重建取得了显著进展。众多方法试图通过从二维基础模型中提取先验知识，以及对优化得到的运动场施加人工设计的正则化约束，来缓解该任务固有的病态性问题。然而，当面临极端新颖视角（尤其是存在高度关节化运动）时，这些方法往往难以实现准确的场景重建。本文提出了一种新方法——DRoPS，其核心思想是利用动态物体的静态预扫描结果，作为显式的几何与外观先验。尽管当前最先进的方法未能充分挖掘预扫描数据的价值，DRoPS 则依托我们提出的全新建模框架，有效约束解空间，并在整个视频序列中保障几何一致性。本工作的创新性主要体现在两个方面：第一，我们构建了一个网格化且表面对其的模型，即将高斯基元按像素网格进行组织，并将该网格锚定在物体表面上；第二，借助高斯基元所构成的网格结构，我们采用一个以这些网格为条件的卷积神经网络（CNN）来参数化运动，从而注入强隐式正则化，并建立邻近空间点之间运动的相关性。大量实验表明，我们的方法在渲染质量与三维跟踪精度两方面均显著优于当前最先进方法。

动态场景重建从非结构化、随意拍摄的视频中恢复三维几何与外观，尤其在极端新视角和高度关节化运动下存在严重病态性，现有方法难以保证几何一致性与渲染质量。该问题并非全新，但利用静态预扫描作为显式几何与外观先验进行动态重建是一个尚未被充分探索的新方向。

提出DRoPS框架：1）构建表面对齐、网格结构化的高斯原语表示（像素网格锚定于预扫描物体表面），替代传统无序或体素化分布；2）设计以该网格为条件的CNN运动参数化器，隐式建模局部运动相关性并注入强正则化——这是首次将预扫描几何结构深度融入可微分动态建模的参数化范式。

实验在自建多视角动态序列（含人体、机械臂等高关节目标）及扩展的DyN-3DGS基准上验证，显著提升PSNR/SSIM/LPIPS和3D点跟踪误差（EPE）；代码与数据集已开源；亮点在于预扫描不再仅作初始化或监督信号，而是成为结构化建模的骨架；未来值得探索预扫描轻量化（如单图生成）、跨对象泛化及实时推理。

Dynamic 3DGS (Kerbl et al., SIGGRAPH 2023); D-NeRF (Pumarola et al., ECCV 2022); Nerfies (Park et al., CVPR 2021); HyperNeRF (Reiser et al., ICCV 2021); SCARF (Zhang et al., CVPR 2024); DynaSDF (Xu et al., NeurIPS 2023)