Continuous 3D Perception Model with Persistent State

我们提出了一种统一的框架，能够解决广泛的3D任务。我们的方法采用了一种有状态的循环模型，该模型会随着每个新的观测结果不断更新其状态表示。给定一系列图像，这种不断演变的状态可以在线生成每个新输入的度量尺度点图（逐像素的3D点），这些点图位于一个共同的坐标系中，可以累积成一个连贯且密集的场景重建，并随着新图像的到来而更新。我们的模型称为CUT3R（用于3D重建的连续更新变换器），捕捉了真实世界场景的丰富先验信息：它不仅可以从图像观测中预测准确的点图，还可以通过探查虚拟的、未观察到的视角来推断场景中未见的区域。我们的方法简单但非常灵活，自然地接受不同长度的图像序列，这些图像序列可以是视频流或无序的照片集，包含静态和动态内容。我们在各种3D/4D任务上评估了我们的方法，并在每一项任务中展示了具有竞争力或最先进的性能。项目页面：https://cut3r.github.io/

该论文试图解决一系列3D任务，包括从图像流中生成精确的3D点云图，并构建连贯的密集场景重建。这是一个具有挑战性的问题，尤其是在处理动态内容和预测未观察到的场景区域时。虽然3D重建和场景理解是计算机视觉中的经典问题，但本研究旨在提供一个统一且高效的框架来应对这些挑战。

CUT3R（Continuous Updating Transformer for 3D Reconstruction）的核心思路是使用一个状态化的递归模型，该模型能够随着新的图像输入连续更新其内部状态表示。这种方法不仅允许在线生成每帧的度量尺度点云图，还能够在共同的坐标系中累积这些点云图，从而形成一致且不断更新的场景重建。此外，CUT3R通过虚拟视图推断未见区域，这在现有研究中是一个新颖的贡献。

论文的关键亮点包括：1) 能够处理视频流或无序照片集，适应静态和动态内容；2) 在多个3D/4D任务上展示了竞争性或最先进的性能；3) 提供了一个项目页面（https://cut3r.github.io/），可能包含代码和更多资源，方便其他研究人员复现和进一步探索。未来值得深入的研究方向包括如何提高对极端条件下的鲁棒性，以及将此方法应用于更广泛的现实世界应用中。

近年来，在3D重建和场景理解领域有许多相关研究。例如，《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》提出了使用神经辐射场表示场景进行视角合成；《MVSNet: Depth Inference for Unstructured Multi-view Stereo》专注于多视角立体视觉的深度推理；还有《DeepVoxels: Learning Persistent 3D Feature Embeddings》探讨了学习持久的3D特征嵌入。这些研究与CUT3R的目标虽有重叠，但在连续更新和虚拟视图推断方面，CUT3R提供了独特的解决方案。