Point3R: Streaming 3D Reconstruction with Explicit Spatial Pointer Memory

从有序或无序的图像序列中进行密集的三维场景重建，是将计算机视觉研究引入实际场景时的关键步骤。继DUSt3R提出的范式之后，后续方法通过将图像对统一到一个共享坐标系中，并维持一种隐式记忆来实现更多图像下的密集三维重建。然而，这种隐式记忆容量有限，可能会导致早期帧的信息丢失。我们提出了Point3R，这是一种面向密集流式三维重建的在线框架。具体来说，我们维护了一个明确的空间指针记忆，直接与当前场景的三维结构相关联。该记忆中的每个指针都被赋予特定的三维位置，并在全局坐标系中聚合周围区域的场景信息，形成不断更新的空间特征。最新帧中提取的信息会与这一指针记忆进行显式交互，从而将当前观测结果密集地融合进全局坐标系统中。为此，我们设计了一种三维层次化位置嵌入机制以促进这种交互，并设计了一种简单而有效的融合机制，以确保我们的指针记忆具有良好的一致性和效率。我们的方法在多种任务上实现了具有竞争力、甚至是最先进的性能，同时训练成本较低。代码地址：https://github.com/YkiWu/Point3R。

论文旨在解决从有序或无序图像集合中进行密集3D场景重建的问题，尤其是在处理连续图像流时如何有效保持全局一致性和减少信息丢失。

提出Point3R，一个在线密集3D重建框架，通过维护一个与场景3D结构直接关联的显式空间指针记忆，实现对新帧信息的高效集成。相比已有方法的隐式记忆机制，该方法在容量和信息保留方面更具优势。

1. 引入了显式空间指针记忆机制，每个指针对应特定3D位置并聚合局部空间特征 2. 设计了3D分层位置嵌入以增强最新观测与已有记忆之间的交互 3. 采用简单而有效的融合机制确保指针记忆的统一性和效率 4. 实验表明该方法在多个任务上达到具有竞争力或SOTA的结果，并且训练成本较低 5. 代码已开源，便于后续研究和复现

1. DUSt3R: Geometric 3D Scene Reconstruction from Unordered Multi-View Images with Transformers 2. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 3. Bundle Adjustment in the Large: A Review and Perspective 4. DeepSFM: Structure-from-Motion with Learned Triangulation and Priors