作者：Tianyi Zhang, Mina Lee, Lisa Li, Ende Shen,等

简介：本文在文本生成领域研究预训练语言模型 (PLM) 与基于模板技术的融合。虽然PLM极大地改进了文本生成，但PLM也会产生不忠实或不恰当的内容。相比之下，经典的基于模板的系统以流畅性为代价提供了强有力的忠实保证。作者提出了 TempLM，它通过将 PLM 提炼成基于模板的生成器来实现两全其美。在 E2E 和 SynthBio 数据到文本数据集上，作者表明 TempLM 比原始 PLM 更忠实，并且比以前的模板系统更流畅。值得注意的是，在域外评估中，TempLM 将微调 BART 模型的不忠实率从 83% 降低到 0%。在一项人类研究中，作者发现 TempLM 的模板大大改进了 BERTScore 中人工编写的模板。

 

 

论文下载：https://arxiv.org/pdf/2205.11055

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除