作者：Artidoro Pagnoni、Alexander R. Fabbri、Wojciech Kryściński、等

简介：在标签数据稀缺的长文档可控摘要中，预训练模型难以适应任务并有效响应用户查询。在本文中，作者介绍了 Socratic 预训练，这是一种问题驱动、无监督的预训练目标，专门设计用于提高摘要任务的可控性。通过训练模型在给定上下文中生成和回答相关问题，Socratic 预训练使模型能够更有效地遵循用户提供的查询并识别要总结的相关内容。作者通过对两个摘要域、短篇小说和对话以及多种控制策略（关键字、问题和事实 QA 对）的广泛实验证明了这种方法的有效性。作者的预训练方法仅依赖于未标记的文档和问题生成系统，并且优于使用额外监督数据的预微调方法。此外，作者的结果表明，Socratic 预训练将特定于任务的标记数据要求减少了一半，更忠实于用户提供的查询，并在 QMSum 和 SQuALITY 上实现了最先进的性能。

论文下载：https://arxiv.org/pdf/2212.10449.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除