预训练语言模型（PLM）通过微调在文本生成任务方面取得了显著进展。然而，在数据稀缺的情况下，微调 PLMs 是一项挑战。因此，开发一个通用且轻量级的，可以适应各种文本生成任务的模型，是非常重要的。

在本文中，作者提出了一种新的基于 prompt 的文本生成方法 PTG。首先针对几类源任务分别学习最优的 prompt，然后迁移转化为目标任务的目标 prompt。为了同时考虑任务级和实例级信息，作者还设计了一种自适应注意机制来导出目标 prompt。实验表明，PTG 方法获得了比微调方法更好的结果。

 

图片

论文链接：https://arxiv.org/abs/2205.01543