DMF-Net: Image-Guided Point Cloud Completion with Dual-Channel Modality Fusion and Shape-Aware Upsampling Transformer

本文研究单视图图像引导下的点云补全任务。现有的方法通过显式或隐式地将图像信息融合到点云中，取得了令人满意的结果。然而，鉴于图像具有全局形状信息，而部分点云具有丰富的局部细节，我们认为在进行模态融合时应该给予两种模态同等的关注。为此，我们提出了一种新颖的双通道模态融合网络，名为DMF-Net，在粗到细的方式下进行图像引导下的点云补全。在第一阶段，DMF-Net将部分点云和相应的图像作为输入，恢复出一个粗糙的点云。在第二阶段，使用形状感知上采样变换器两次对粗糙点云进行上采样，得到密集完整的点云。广泛的定量和定性实验结果表明，DMF-Net在ShapeNet-ViPC数据集上表现优于最先进的单模态和多模态点云补全方法。

研究单视图图像引导的点云补全问题，旨在将图像和点云信息融合以完成点云补全任务。

提出了一种新的双通道模态融合网络（DMF-Net），在粗到细的过程中将图像和点云信息同等对待。第一阶段使用DMF-Net将部分点云和对应的图像作为输入，恢复出一个粗糙的点云。第二阶段使用形状感知上采样转换器将粗糙的点云上采样两次，得到密集和完整的点云。实验结果表明，DMF-Net在ShapeNet-ViPC数据集上优于当前最先进的单模态和多模态点云补全方法。

DMF-Net使用双通道模态融合网络将图像和点云信息同等对待，并在粗到细的过程中进行点云补全。实验结果表明DMF-Net在ShapeNet-ViPC数据集上优于其他方法。

近期的相关研究包括：PointSetGeneration、PU-Net和基于图像的点云补全方法。