DuInNet: Dual-Modality Feature Interaction for Point Cloud Completion

为了进一步推动多模态点云补全的发展，我们提出了一个大规模的多模态点云补全基准测试集ModelNet-MPC，其中包含了40个类别近400,000对高质量点云和渲染图像。除了完全监督的点云补全任务外，ModelNet-MPC还提出了两个额外的任务，包括去噪补全和零样本学习补全，以模拟真实世界的场景，并验证当前方法对噪声的鲁棒性和跨类别的转移能力。同时，考虑到现有的多模态补全流程通常采用单向融合机制，并忽略图像模态中包含的形状先验，本文提出了一个双模态特征交互网络（DuInNet）。DuInNet通过双特征交互器迭代地在点云和图像之间交互特征，学习形状的几何和纹理特征。为了适应完全监督、去噪和零样本学习等特定任务，提出了自适应点生成器，用于以不同权重生成块状完整点云。在ShapeNet-ViPC和ModelNet-MPC基准测试上的广泛实验表明，DuInNet在所有补全任务中表现出优越的性能、鲁棒性和转移能力，优于现有的最先进方法。代码和数据集即将公开。

论文旨在推动多模态点云补全的发展，提出了一个包含更丰富形状类别和更多样化测试数据的大规模多模态点云补全基准ModelNet-MPC，同时提出了两个额外的任务来验证当前方法的噪声鲁棒性和跨类别的转移能力。

论文提出了一个双模态特征交互网络（DuInNet），通过迭代地交互点云和图像之间的特征来学习形状的几何和纹理特征，并提出了一个自适应点生成器来生成具有不同权重的块状完整点云以适应特定任务。

论文提出的ModelNet-MPC基准包含近40万对高质量点云和渲染图像，以及两个额外任务来验证方法的鲁棒性和转移能力。论文提出的DuInNet在形状补全任务中表现出优越性、鲁棒性和转移能力，实验结果非常令人满意。此外，论文还提供了数据集和代码。

最近的相关研究包括：PointSetGen，PCN和TopNet等。