为了减少提示学习（Prompt Learning)中人工设计提示的工程，越来越多的工作关注自动化的提示获取。谷歌提出了提示调优（Prompt Tuning），为任务分配连续的软提示并冻结预训练语言模型（PLM）的参数对提示进行训练。虽然这种提示调优的方法在大模型上可以获得和模型调优相当的性能，但在较小规模的模型上和低资源的场景下，表现并不理想。在提示调优的过程中，如何得到好的初始化提示，是提高模型的性能和效率的关键。一些工作从迁移的角度出发，希望通过相似的任务来训练提示，并重用到新任务上，利用相似任务间可迁移的知识来解决这些问题。

文章概览

1. TransPrompt：一个针对小样本文本分类的自动可迁移的提示框架(TransPrompt: Towards an Automatic Transferable Prompting Framework for Few-shot Text Classification)

这篇工作来自华东师大与阿里巴巴，已发表在EMNLP2021。已有的提示调优的工作大多只关注单个任务，这篇文章认为不同的任务之间可以通过一个多任务的元学习器（meta-learner）的设计实现迁移。为了避免模型偏向于具体的某个任务，作者进一步提出了两种方法来去偏。实验证明，作者提出的模型可以在SST-2、MR、CR等多个任务上达到SOTA。

论文地址：https://aclanthology.org/2021.emnlp-main.221.pdf

2. SPoT：通过软提示迁移更好地适应冻结模型(SPoT: Better Frozen Model Adaptation through Soft Prompt Transfer)

这篇工作来自于谷歌。作者提出了一种基于提示的迁移学习方法SPoT：Soft Prompt Transfer（软提示迁移）。SPoT先在一个或多个源任务上学习提示，然后用于初始化其他目标任务的提示。结果表明，SPoT在许多任务中提高了提示调优的性能，并且有更高的参数效率。同时，文章里也提出了一种简单有效的检索方法用于识别任务间的相似度，对目标任务找到最适合迁移的源任务。

论文地址：https://arxiv.org/pdf/2110.07904

3. 自然语言理解的提示调优的可迁移性(On Transferability of Prompt Tuning for Natural Language Understanding)

这篇工作来自清华大学和腾讯。为了探究是否可以通过重用训练过的软提示和共享已学习的知识来提高学习效率，这篇文章通过实证研究了软提示在不同任务和模型之间的可迁移性。在跨任务迁移中，发现经过训练的软提示可以很好地迁移到相似的任务中，并探究了提示的相似度与可迁移性之间的关系。在跨模型迁移中，探索了如何将一个PLM的提示信息投影到另一个PLM上，并成功地训练出一种能够在类似任务上实现迁移的投影器。

论文地址：https://arxiv.org/pdf/2111.06719.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除