论文标题：

FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization

收录会议：

NAACL2022

论文链接：

https://arxiv.org/abs/2205.07830

 

代码链接：

https://github.com/meetdavidwan/factpegasus

本文提出了 FACTPEGASUS，他是基于 PEGASUS 模型设计的一个生成式摘要模型，解决了 Pre-training 和 Finetuning 过程中的事实一致性问题，通过将事实性学习纳入整个训练 pipline：解决了在预训练阶段目标缺乏注意事实一致性的问题，以及在微调时下游数据集中存在幻觉。
作者认为目前摘要模型的预训练目标侧重于提高下游任务中产生的输出的质量，但往往忽略了事实一致性方面。原本的 PEGASUS 模型的预训练目标是 Gap sentence genration（GSG），通过 rouge 分数选择原文本中重要的句子作为伪摘要（即选中句和其它句子集的 ROUGE1-F1 来计算），他可以将任何的文本转换成为一个伪摘要数据集。而本文我们探索了将 rouge 和事实一致性度量 FactCC 作为选择标准的策略，以便模型学习生成包含输入文档最重要信息的句子，并保持对它的事实一致性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除