本文关注将语言模型(LM)视作一个知识库,然后用于解决例如句子填空这样的NLP任务,这个做法在单语言(英语)取得了不错的效果。因此在这篇论文里,作者着重关注了以m-BERT为代表的多语言语言模型是否也能作为多语言KG适用于多语言NLP场景。他将单语LAMA数据集翻译为53种语言,并使用m-BERT作为知识库进行了实验评估,着重关注了m-BERT的可用性,和在不同语言上的性能差异性。从实验效果来看,首先m-BERT在部分语言上能够实现和单语LAMA实验类似的效果,另一方面,m-BERT虽然基于104weikipedia训练得到,但是依然存在语言偏置。
EACL‘21 | Multilingual LAMA: 探索多语言预训练语言模型中的知识
沙发等你来抢
去评论
评论
沙发等你来抢