Factual Dialogue Summarization via Learning from Large Language Models

本文旨在探究使用符号知识蒸馏来提高对话摘要中较小预训练模型的事实一致性。相较于较小的预训练语言模型，基于大型语言模型（LLM）的自动文本摘要模型生成的摘要更具有事实一致性，但由于隐私或资源限制，它们在实际应用中面临部署挑战。我们采用零样本学习从LLMs中提取符号知识，生成既有事实一致性（正面），也有不一致性（负面）的摘要。然后，我们对这些摘要应用两个对比学习目标，以增强较小的摘要模型。使用BART、PEGASUS和Flan-T5进行的实验表明，我们的方法超过了依赖于复杂数据增强策略的强基线。我们的方法在保持连贯性、流畅性和相关性的同时，实现了更好的事实一致性，这得到了各种自动评估指标的确认。我们还提供数据和代码的访问权限，以促进未来的研究。

如何利用符号知识蒸馏来提高对话摘要中小型预训练模型的事实一致性？

使用零样本学习从大型语言模型中提取符号知识，然后应用对比学习目标来增强小型摘要模型的事实一致性。

实验结果表明，该方法在保持连贯性、流畅性和相关性的同时，实现了更好的事实一致性。此外，作者提供了数据和代码以促进未来的研究。

最近的相关研究包括使用复杂的数据增强策略的强基线模型。