Mixture of Modality Knowledge Experts for Robust Multi-modal Knowledge Graph Completion

多模态知识图谱补全（MMKGC）旨在通过协同建模大量三元组中隐藏的结构信息和实体的多模态特征，自动发现给定多模态知识图谱（MMKGs）中的新知识三元组。现有方法往往专注于设计优雅的基于实体的多模态融合策略，但忽视了在不同关系上下文中隐藏在模态内部的多角度特征的利用。为解决这个问题，我们引入了一种新的MMKGC框架，使用混合模态知识专家（MoMoK）来学习适应性的多模态嵌入，以适应复杂的关系上下文。我们设计了关系引导的模态知识专家，以获取关系感知的模态嵌入，并集成来自多种模态的预测结果以实现全面的决策。此外，我们通过最小化它们之间的互信息来解开这些专家之间的耦合。在四个公共MMKG基准测试中的实验表明，MoMoK在复杂情境下具有出色的性能。

本论文旨在解决多模态知识图谱中的知识三元组自动发现问题，通过协同建模海量三元组中隐藏的结构信息和实体的多模态特征来实现。该问题是一个新问题。

该论文提出了一种新的MMKGC框架，使用混合模态知识专家（MoMoK）来学习复杂关系环境下的自适应多模态嵌入。通过设计关系引导的模态知识专家来获取关系感知的模态嵌入，并集成多模态的预测结果来实现全面的决策。此外，通过最小化他们的互信息来解开专家之间的联系。

该论文的实验使用了四个公共的多模态知识图谱基准测试，MoMoK在复杂场景下表现出了优异的性能。值得关注的是，该论文的思路有新意，利用了多模态特征在不同关系上下文中的多个视角。

近期在这个领域中，还有一些相关的研究，如《Multi-modal Knowledge Graph Completion with Recurrent Neural Networks》、《Multi-modal Knowledge Graph Reasoning with Tensor-based Dynamic Graph》等。