Part-Whole Relational Fusion Towards Multi-Modal Scene Understanding

多模态融合在多模态场景理解中发挥了重要作用。大多数现有的方法主要集中在涉及两种模态的跨模态融合上，而往往忽视了更复杂的多模态融合，这对于自动驾驶等实际应用至关重要，在这些应用中会使用可见光、深度、事件、激光雷达等多种模态。此外，针对多模态融合的尝试较少，例如简单的拼接、跨模态注意力机制和令牌选择等方法，无法充分挖掘多种模态之间的内在共享和特定细节。为了解决这一挑战，本文提出了一种部分-整体关系融合（PWRF）框架。这是首次将多模态融合视为部分-整体关系融合。该框架利用胶囊网络（CapsNets）的部分-整体关系路由能力，将多个独立的部分级模态路由到一个融合的整体级模态。通过这种部分-整体路由，我们的PWRF框架分别从整体级模态胶囊和路由系数中生成模态共享和模态特定的语义。在此基础上，模态共享和模态特定的细节可以用于解决多模态场景理解的问题，包括本文中的合成多模态分割和可见光-深度-热图显著目标检测。在多个数据集上的实验表明，所提出的PWRF框架在多模态场景理解方面具有优越性。源代码已发布在 https://github.com/liuyi1989/PWRF。

该论文试图解决多模态场景理解中的复杂多模态融合问题，特别是涉及多个模态（如可见光、深度、事件、LiDAR等）的融合。现有的方法主要集中在两个模态之间的跨模态融合，而忽略了更复杂的多模态融合，这对自动驾驶等实际应用非常重要。

论文提出了一种名为Part-Whole Relational Fusion (PWRF) 的框架，首次将多模态融合视为部分-整体关系融合。该框架利用胶囊网络 (CapsNets) 的部分-整体关系路由能力，将多个独立的部分级模态路由到一个融合的整体级模态。通过这种部分-整体路由，PWRF 从整体级模态胶囊和路由系数中分别生成模态共享和模态特定的语义。

论文在多个数据集上进行了实验，展示了 PWRF 框架在多模态场景理解任务中的优越性，包括合成多模态分割和可见-深度-热图显著目标检测。此外，作者还开源了代码，方便其他研究者复现和进一步研究。未来的工作可以集中在探索更多的模态组合和更复杂的场景理解任务上。

近年来，多模态融合领域的一些相关研究包括： 1. "Cross-Modal Attention for Multi-Modal Scene Understanding" - 探索了跨模态注意力机制在多模态融合中的应用。 2. "Multi-Modal Fusion with Capsule Networks" - 尝试将胶囊网络应用于多模态融合，但没有涉及到部分-整体关系。 3. "Deep Fusion for Multi-Modal Scene Understanding" - 提出了基于深度学习的多模态融合方法，但主要集中在两个模态的融合。