预训练语言模型是当前的研究热点之一。来自AWS AI相关研究人员发布了关于《知识增强预训练语言模型》综述论文，值的关注！

论文链接：https://arxiv.org/abs/2110.08455

摘要

预训练语言模型(Pretrained Language Models, PLM)通过在大规模文本语料库上学习信息语境化表示，建立了一种新的范式。这种新的范式已经彻底改变了整个自然语言处理领域，并为各种NLP任务设置了新的最先进的性能。然而，尽管PLM可以从训练语料库中存储一定的知识/事实，但它们的知识意识还远远不能令人满意。为了解决这个问题，将知识集成到PLM中已经成为一个非常活跃的研究领域，并且已经开发了各种各样的方法。在本文中，我们对这一新兴和快速发展的领域-知识增强的预训练语言模型(KE-PLMs)提供了一个全面的文献综述。我们引入三种分类法来对现有工作进行分类。此外，我们还调研了各种NLU和NLG应用，在这些应用上，KE-PLM表现出了优于普通PLM的性能。最后，讨论了KE-PLMs面临的挑战和未来的研究方向。

知识增强预训练语言模型结构图

内容中包含的图片若涉及版权问题，请及时与我们联系删除