【论文标题】Meta-Transfer Learning for Low-Resource Abstractive Summarization 【作者团队】Yi-Syuan Chen, Hong-Han Shuai 【发表时间】2021.2.18 【推荐理由】论文收录于AAAI-2021会议，研究人员提出利用两个知识丰富的来源解决低资源抽象摘要问题，即大型预训练语言模型和多样化的现存语料库，实验结果达到了目前最先进的水平。

目前，有很多神经抽象摘要的相关研究，并在大型语料库的帮助下取得了巨大的成功。然而，当遇到新的任务时，由于领域迁移问题，人们不一定能从迁移学习中获益，在没有足够的标注例子的情况下，过拟合可能会发生。此外，抽象摘要的注释成本很高，这往往需要领域知识来保证地道的质量。因此，低资源抽象摘要化的呼声越来越高，其目的是利用过去的经验来提高目标语料中有限的标注实例的性能。大型预训练语言模型可以提供解决总结任务的主要能力，多样化的现存语料库可以帮助发现共同的句法或语义信息以提高概括能力。研究人员对各种不同写作风格和形式的摘要语料库进行了大量的实验。结果表明，论文方法在低资源场景下，在6个语体上达到了最先进的水平，与之前的工作相比，可训练的参数只占0.7%。

图：元迁移学习抽象摘要模型框架图

内容中包含的图片若涉及版权问题，请及时与我们联系删除