MyGO: Discrete Modality Information as Fine-Grained Tokens for Multi-modal Knowledge Graph Completion

多模态知识图谱（MMKG）存储着包含丰富多样的描述性信息的结构化世界知识。为了克服它们固有的不完整性，多模态知识图谱补全（MMKGC）旨在从给定的MMKG中发现未观察到的知识，利用三元组的结构信息和实体的多模态信息。现有的MMKGC方法通常使用预训练模型提取多模态特征，并使用融合模块将多模态特征与三元组预测相结合。然而，这经常会导致对多模态数据的粗略处理，忽视微妙、细粒度的语义细节及其相互作用。为了解决这个问题，我们引入了一个新的框架MyGO，用于处理、融合和增强MMKG中的细粒度模态信息。MyGO将多模态原始数据分词为细粒度的离散标记，并使用交叉模态实体编码器学习实体表示。为了进一步增强多模态表示，MyGO采用了细粒度对比学习来突出实体表示的特异性。在标准的MMKGC基准测试上的实验表明，我们的方法超过了20个最新模型，凸显了其优越的性能。代码和数据可在https://github.com/zjukg/MyGO获得。

本论文旨在解决多模态知识图谱不完整性的问题，提出一种新的多模态知识图谱补全框架。

该框架使用MyGO方法处理、融合和增强多模态数据的细粒度信息，通过对实体表示进行交叉模态编码和对比学习来提高补全效果。

实验结果表明，MyGO方法的性能优于20多种最新的模型，该论文提出的方法可以为多模态知识图谱补全任务提供新的思路和解决方案。

最近的相关研究包括：《Multi-modal Knowledge Graph Completion with Dynamic Tensor Graph》、《Multi-Modal Knowledge Graph Reasoning with Neural Module Networks》等。