Embedded Prompt Tuning: Towards Enhanced Calibration of Pretrained Models for Medical Images

本文介绍了基于大规模数据预训练的基础模型在各种自然图像下游任务中取得的成功，并且介绍了参数高效微调（PEFT）方法，该方法旨在通过仅更新少量参数来适应新领域，以减少计算开销。然而，这些PEFT方法的有效性，特别是在跨域少样本场景（例如医学图像分析）中，尚未得到充分探索。本文旨在研究PEFT在将基础模型适应医学图像分类任务时的性能。此外，为了缓解主流提示微调方法中提示引入方式和Transformer架构的逼近能力的局限性，我们提出了嵌入式提示微调（EPT）方法，通过将提示令牌嵌入扩展通道中。我们还发现，在基础模型的特征空间分布中存在异常，预训练过程中的提示微调可以帮助减轻这种负面影响。为了解释这种现象，我们还引入了一个新的视角来理解提示微调：提示微调是一个分布校准器。我们通过分析EPT中包含的补丁缩放和特征分离操作来支持这一观点。我们的实验表明，EPT在少样本医学图像分类任务上的表现显著优于几种最先进的微调方法，并在高度竞争的时间内完成微调过程，表明EPT是一种有效的PEFT方法。源代码可在github.com/zuwenqiang/EPT上获得。

本文旨在探索参数高效微调方法在医学图像分类任务中的效果，特别是在跨领域少样本情况下的表现。

本文提出了一种嵌入提示调整（EPT）方法，通过将提示标记嵌入扩展通道中，来缓解主流提示调整方法中引入方式和Transformer架构的近似能力的局限性。同时，本文发现基础模型在预训练过程中特征空间分布存在异常，而提示调整可以帮助减轻这种负面影响。作者提出了一种新的理解提示调整的方法：提示调整是一种分布校准器。

本文的实验表明，EPT在少样本医学图像分类任务中的表现优于几种最先进的微调方法，并且在高度竞争的时间内完成微调过程，表明EPT是一种有效的参数高效微调方法。作者还提供了开源代码。

在这个领域中，最近的相关研究包括：《Few-shot Learning with Contrastive Pseudo-Label》、《Few-shot Learning with Meta Metric Learning》、《Few-shot Learning with Global Class Representations》等。