Explicitly Guided Information Interaction Network for Cross-modal Point Cloud Completion

本文中，我们探索了一种新颖的框架EGIInet（Explicitly Guided Information Interaction Network），它是一种用于视角引导点云完成（ViPC）任务的模型，旨在从单个视角图像中恢复完整的点云。与先前依赖于输入图像的全局语义的方法相比，EGIInet通过利用完成任务的几何特性，高效地结合了两种模态的信息。具体来说，我们提出了一种明确引导信息交互策略，通过模态对齐来支持点云完成。首先，与以前简单地使用2D和3D主干分别编码特征的方法不同，我们统一了编码过程以促进模态对齐。其次，我们提出了一种新颖的明确引导信息交互策略，可以帮助网络在图像中识别关键信息，从而实现更好的完成引导。广泛的实验表明了我们框架的有效性，并且我们在基准数据集中实现了新的最先进水平（比XMFnet高16%的CD），尽管使用的参数比以前的方法少。预训练模型和代码可在https://github.com/WHU-USI3DV/EGIInet获得。

ViPC任务指的是从单个视角图像中恢复完整的点云，本文试图通过提出EGIInet框架来解决这一问题。相较于之前的方法，EGIInet框架更加高效地结合了两种模态信息，通过利用完成任务的几何特性，提出了一种明确的信息交互策略。

本文的关键思路是通过统一编码过程来促进模态对齐，并提出了一种新颖的明确引导信息交互策略，以帮助网络识别图像中的关键信息，从而实现更好的完成任务。

本文通过实验验证了EGIInet框架的有效性，并在基准数据集上取得了新的最优性能。此外，作者还提供了预训练模型和代码，并在Github上开源。本文的亮点在于提出了一种新的信息交互策略，并在实验中证明了其有效性。

最近在这个领域中，还有一些相关的研究，如XMFnet等。