阿里|生成式多模态预训练模型的提示调优

标题：阿里|Prompt Tuning for Generative Multimodal Pretrained Models（生成式多模态预训练模型的提示调优）

作者：Hao Yang, Junyang Lin, Hongxia Yang等

简介：本文介绍一种提示调优方法。提示调优已成为模型调优的新范式，并在自然语言预训练甚至视觉预训练方面取得了成功。在这项工作中，作者探索了将快速调整转移到多模态预训练，重点是生成多模态预训练模型，而不是对比模型。具体来说，作者在统一的序列到序列预训练模型上实现了快速调整，以适应理解和生成任务。实验结果表明，轻量级快速调优可以达到与微调相当的性能，并超越其他轻量级调优方法。此外，与微调模型相比，即时调整模型表现出更高的对抗性攻击鲁棒性。作者进一步发现，包括提示长度、提示深度和重新参数化在内的实验因素对模型性能有很大影响，因此作者凭经验为提示调整的设置提供了建议。

代码下载：https://github.com/OFA-Sys/OFA

论文下载：https://arxiv.org/pdf/2208.02532.pdf