AdaViPro: Region-based Adaptive Visual Prompt for Large-Scale Models Adapting

最近，基于提示的方法已经成为一种新的替代“参数高效微调”范式，该方法仅微调少量附加参数，同时保持原始模型不变。然而，尽管取得了显著的结果，现有的提示方法主要关注“添加什么”，而忽视了同样重要的“添加在哪里”的方面，通常依赖于手工制作的放置。为此，我们提出了一种基于区域的自适应视觉提示，名为AdaViPro，它将提示的“添加在哪里”的优化集成到学习过程中。具体而言，我们将“添加在哪里”的优化重新构思为区域决策问题。在推理过程中，AdaViPro为整个图像生成一个区域化掩码图，由0和1组成，指定是否在每个特定区域应用或丢弃提示。因此，我们采用Gumbel-Softmax采样，通过标准反向传播实现AdaViPro的端到端学习。广泛的实验表明，我们的AdaViPro为适应预训练模型提供了新的效率和准确性权衡。

本文旨在解决prompt-based方法中存在的“what to add”和“where to add”两个问题，提出了一种名为AdaViPro的区域自适应视觉提示方法。

AdaViPro通过将“where to add”优化问题转化为区域决策问题，在学习过程中生成一个针对整个图像的区域化掩码图，以指定在每个特定区域应用或放弃提示，从而实现了端到端的学习。

本文提出的AdaViPro方法在适应预训练模型时取得了新的效率和准确性平衡。实验使用了多个数据集，并开源了代码。值得进一步研究的工作包括如何在更广泛的场景中使用AdaViPro以及如何将其应用于其他任务中。

与本文相关的研究包括GPT-3、Turing-NLG、GShard等。