Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision

参数高效微调（PEFT）在基础模型的普及和规模不断增长的情况下变得越来越重要。由于适配器在参数减少和适应各种任务方面的潜力，它们得到了特别好的反响。然而，平衡高效性和跨任务的强大泛化能力仍然是适配器方法面临的挑战。我们分析了现有的方法，并发现：1）参数共享是减少冗余的关键；2）更多的可调参数、动态分配和块特定设计是提高性能的关键。不幸的是，之前的工作没有考虑到所有这些因素。受此启发，我们介绍了一个名为Adapter-X的新框架。首先，提出了一个名为适配器共享混合（SMoA）模块，以实现令牌级别的动态分配、增加可调参数和块间共享。其次，引入了一些块特定设计，如提示生成器（PG），以进一步增强适应能力。对2D图像和3D点云模态进行的广泛实验表明，Adapter-X是一个重要的里程碑，因为它是第一个在2D图像和3D点云模态上都能以显著更少的参数（即仅为原始可训练参数的0.20％和1.88％）胜过完全微调的方法。我们的代码将公开发布。

论文旨在解决参数-efficient fine-tuning（PEFT）的问题，即如何在保持高效率的同时实现对多个任务的稳健泛化。

论文提出了一种名为Adapter-X的新框架，其中包括Sharing Mixture of Adapters（SMoA）模块和Prompt Generator（PG）等特定设计，以实现动态分配、增加可调参数和跨块共享，从而提高适应性能。

论文在2D图像和3D点云模态上进行了广泛实验，结果表明Adapter-X是第一个在这两个模态上都能显著优于全微调的框架，同时参数数量大大减少。

最近的相关研究包括：《AdapterHub：一个适配器模型的集中式库》、《适配器注意力：一种新的适配器方法》等。