作者：Hao Peng,Hang Li,Lei Hou,Juanzi Li,Chao Qiao


摘要：为了加强对多模态知识库和多模态信息处理的研究，作者提出了一种基于多模态知识库（MKB）的多模态实体标注（MET）任务、而且还使用现有的MKB为该问题开发了一个数据集。在MKB中，有实体及其关联的文本和图像。在MET中，给定一个文本图像对，可以使用MKB中的信息自动识别文本图像对中的相关实体。作者使用信息检索范式来解决这个问题，并使用NLP和CV中最先进的方法来实现几个基线。作者进行了大量的实验，并对实验结果进行了分析。结果表明，该任务具有挑战性，但当前技术可以实现相对较高的性能。作者将发布数据集、代码和模型以供将来研究。

论文下载：https://arxiv.org/pdf/2201.00693.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除