DITTO: Dual and Integrated Latent Topologies for Implicit 3D Reconstruction

我们提出了一个新颖的概念，即双重和集成的潜在拓扑（简称DITTO），用于从嘈杂和稀疏的点云中进行隐式三维重建。大多数现有方法主要关注单一的潜在类型，例如点或网格潜在。相比之下，所提出的DITTO利用点和网格潜在（即双重潜在）来增强它们的优势，即网格潜在的稳定性和点潜在的详细能力。具体而言，DITTO由双重潜在编码器和集成隐式解码器组成。在双重潜在编码器中，双重潜在层是组成编码器的关键模块块，同时并行地细化两种潜在，保持它们的不同形状并实现递归交互。值得注意的是，在双重潜在层内，一个新提出的动态稀疏点变换器可以有效地细化点潜在。然后，集成隐式解码器系统地组合这些细化的潜在，实现高保真度的三维重建，并在对象和场景级别数据集上超越了以前的最先进方法，特别是在细长和详细的结构上。

本文旨在解决从嘈杂且稀疏的点云中进行隐式三维重建的问题，提出了一种新的概念——双重和集成潜在拓扑（DITTO），并试图在物体和场景级别数据集上超越之前的最新方法。

DITTO利用了点和网格潜在变量的优势，即网格潜在变量的稳定性和点潜在变量的细节丰富性，提出了双重潜在编码器和集成隐式解码器，其中双重潜在编码器由动态稀疏点变换器和双重潜在层组成，能够并行地维护它们的不同形状，实现递归交互，最终实现高保真度的三维重建。

本文的亮点包括提出了DITTO的新概念，实验结果表明DITTO在物体和场景级别数据集上超越之前的最新方法，特别是在细节和薄结构方面。本文使用了公共数据集，并提供了开源代码。

最近的相关研究包括PointNet、DeepSDF、Occupancy Networks等。