Knowledge Graphs Meet Multi-Modal Learning: A Comprehensive Survey

知识图谱在推动各种人工智能应用方面发挥着关键作用，语义网络社区对多模式维度的探索开辟了创新的新途径。在本次调查中，我们仔细审查了300多篇文章，重点关注了两个主要方面的知识图谱感知研究：以知识图谱为驱动的多模式（KG4MM）学习，其中知识图谱支持多模式任务；以及扩展知识图谱研究到MMKG领域的多模式知识图谱（MM4KG）。我们首先定义了知识图谱和多模式知识图谱，然后探讨了它们的构建进展。我们的审查包括两个主要任务类别：知识图谱感知的多模式学习任务，如图像分类和视觉问答；以及内在的MMKG任务，如多模式知识图谱完成和实体对齐，突出了特定的研究轨迹。对于大多数这些任务，我们提供了定义、评估基准，并另外概述了进行相关研究的基本见解。最后，我们讨论了当前的挑战和识别出的新兴趋势，如大规模语言建模和多模式预训练策略的进展。本次调查旨在为已经参与或考虑深入研究知识图谱和多模式学习研究的研究人员提供全面的参考，为未来工作提供支持，并提供有关MMKG研究不断发展的见解。

本篇论文旨在回顾知识图谱（KG）和多模态知识图谱（MMKG）的研究进展，着重探讨KG驱动的多模态学习和MMKG的构建。

本篇论文的关键思路是回顾和总结KG和MMKG的研究进展，并探讨KG和MMKG在多模态学习中的应用。相比当前领域的研究，本文提出了一些新的思路和见解。

论文回顾了300多篇文章，分别从KG驱动的多模态学习和MMKG两个方面进行了论述。论文对多个任务进行了定义和评估，并提出了一些重要见解。此外，论文还讨论了当前的挑战和新兴趋势，如大规模语言建模和多模态预训练策略。

在这个领域中，最近的相关研究包括《Multi-Modal Learning with Deep Generative Models: A Survey》、《A Survey on Multi-Modal Machine Learning》等。