标题：南洋理工大学|Neural Prompt Search（神经提示搜索）

作者：Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu

简介：本文介绍了视觉模型提示算法。在过去几年中，视觉模型的规模呈指数级增长，特别是在视觉变换器出现之后。这推动了参数效率调整方法的发展，例如学习适配器层，或视觉提示标记。允许模型参数的一小部分训练，而绝大多数从训练前获得的参数都是冻结的。然而设计一个合适的调优方法并非易事：人们可能需要尝试冗长的设计选择列表，更不用说每个下游数据集通常需要定制设计。在本文中，作者研究了现有的参数效率调整方法作为“提示模块”，并提出神经提示搜索（NOAH），一个新颖的学习方法。对于大型视觉模型，提示的优化设计模块通过神经架构搜索算法，专门针对每个下游数据集。通过对20多个视觉数据集进行广泛的实验，作者证明NOAH（i）优于单个提示模块，（ii）具有良好的小样本学习能力，和（iii）是领域可推广的。

代码下载：https://github.com/Davidzhangyuanhan/NOAH

论文下载：https://arxiv.org/pdf/2206.04673v1.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除