本文首发于知乎，作者：郑秋硕，漆桂林，王萌

知识图谱技术已经被广泛用于处理结构化数据（采用本体+D2R技术）和文本数据（采用文本信息抽取技术），但是还有一类非结构化数据，即视觉数据，则相对关注度较低，而且相缺乏有效的技术手段来从这些数据中提取结构化知识。最近几年，虽然有一些多模态视觉技术提出，这些技术主要还是为了提升图像分类、图像生成、图像问答的效果，不能很好地支撑多模态知识图谱的构建。视觉数据库通常是图像或视频数据的丰富来源，并提供关于知识图谱中实体的充分视觉信息。显然，如果可以在在更大范围内进行链接预测和实体对齐，进而进行实体关系抽取，可以使现有的模型在综合考虑文本和视觉特征时获得更好的性能，这也是我们研究多模态知识图谱（multi-modal knowledge graph）的意义所在。

多模态知识图谱的发展过程

本文系统的讲述了一些关于多模态知识图谱的相关知识，作者介绍了一些重要的开源多模态知识图谱，基于百科多模态知识图谱Richpedia以及相关使用网站和多模态知识图谱的应用，感兴趣的可以继续戳原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除