标题：谷歌|The Power of Scale for Parameter-Efficient Prompt Tuning（具有规模能力的参数高效提示优化）

作者：Brian Lester、Noah Constant

简介：在这项工作中，作者探索了“提示调优”，一种简单而有效的机制，用于学习“软提示”以调节冻结语言模型以执行特定下游任务。与GPT-3使用的离散文本提示不同，软提示是通过反向传播学习的，可以调整以合并来自任意数量标记示例的信号。作者的端到端学习方法优于GPT-3的小样本学习。更值得注意的是，通过对模型进行消融使用T5的大小，作者表明提示调整在规模上变得更具竞争力：当模型超过数十亿个参数时，作者的方法“缩小差距”并匹配模型调优的强大性能。这个发现特别相关，因为大型模型成本高昂共享和服务以及重用一个的能力，多个下游任务的冻结模型可以减轻这个负担。可见作者的方法作为最近提议的简化和作者的“前缀调整”提供与此和其他类似的比较方法。最后，作者表明使用冻结模型的软提示调节可以赋予域迁移的健壮性和实现高效的“即时集成”。

论文下载：https://arxiv.org/pdf/2104.08691v2.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除