标题：KAIST、LG｜TOWARDS CONTINUAL KNOWLEDGE LEARNING OF LANGUAGE MODELS（语言模型的持续知识学习）

作者：Joel Jang, Minjoon Seo

简介：本文提出了一种语言模型持续更新知识的方法。众所周知，因为它们在大量网络语料库上进行了预训练，大型语言模型 (LM) 会在其参数中对世界知识进行编码，经常被使用用于执行依赖于知识的下游任务，例如问答、事实核查和公开对话。在现实世界的场景中，存储在LM中的世界知识会随着世界的变化而迅速过时，但是在保留不变知识的同时，避免灾难性遗忘并可靠地获取新知识是非常重要的。为了推动社区更好地维护不断变化的LM，作者制定了一个新的持续学习(CL) 问题，称为持续知识学习 (CKL)。作者构建了一个对不变世界知识的保留、过时知识的更新和新知识的获取的新的量化基准和度量。通过突出显示知识遗忘的关键原因，作者表明CKL 是一个具有挑战性和帮助作者更好地理解和训练不断变化的LM的重要问题。

代码下载：https://github.com/wkddydpf/continual-knowledge-learning

论文下载：https://arxiv.org/pdf/2110.03215.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除