NativE: Multi-modal Knowledge Graph Completion in the Wild

多模态知识图谱补全（MMKGC）旨在通过协同建模实体的三元组结构和多模态信息，自动发现给定多模态知识图谱中未观察到的事实知识。然而，现实世界中的MMKG存在各种各样的挑战，因为其多模态信息可以跨越各种类型（例如图像、文本、数字、音频、视频），但其在实体之间的分布是不均衡的，导致某些实体缺失模态信息。现有的研究通常关注像图像和文本这样的常见模态，而忽略了模态信息的不平衡分布现象。为了解决这些问题，我们提出了一个全面的框架NativE，以实现在野外的MMKGC。NativE提出了一个关系引导的双自适应融合模块，可以对任何模态进行自适应融合，并采用协同模态对抗训练框架来增强不平衡的模态信息。我们构建了一个名为WildKGC的新基准，其中包括五个数据集，以评估我们的方法。与21个最近的基线相比，实证结果证实了我们方法的优越性，在不同的数据集和各种场景下始终保持着最先进的性能，同时具有高效性和通用性。我们的代码和数据已经在https://github.com/zjukg/NATIVE上发布。

本论文旨在解决多模态知识图谱中模态信息分布不平衡的问题，提出一个新的框架NativE来实现多模态知识图谱补全。

NativE框架提出了一种关系引导的双重自适应融合模块，使得任何模态的信息都能够自适应地进行融合，并采用协同模态对抗训练框架来增强不平衡的模态信息。

论文构建了一个新的基准数据集WildKGC来评估他们的方法，实验结果表明NativE方法在不同的数据集和各种场景下都能够取得最先进的性能，同时保持高效和通用性。论文还开源了代码和数据。

最近在这个领域中，还有一些相关的研究，如：《Multi-Modal Knowledge Graph Completion: A Survey》、《Multi-modal Knowledge Graph Completion with Adaptive Graph Convolutional Networks》等。