Adapters Strike Back

适配器提供了一种高效且轻量级的机制，可以将训练好的Transformer模型适应于各种不同的任务。然而，它们经常被其他适应机制（包括低秩适应）超越。在本文中，我们对适配器及其内部结构以及各种实现选择进行了深入研究。我们揭示了使用适配器的陷阱，并提出了一种具体的、改进的适配器架构——Adapter+，它不仅优于以前的适配器实现，而且在几个具有挑战性的场景中超越了许多其他更复杂的适应机制。尽管如此，我们建议的适配器非常强大，与以前的工作不同，在处理新场景时几乎不需要手动干预。Adapter+在VTAB基准测试中达到了最先进的平均准确率，即使没有针对每个任务进行超参数优化。

改进适配器的架构，使其在多个任务中表现更好，同时保持鲁棒性和易用性。

提出了一种新的适配器架构(Adapter+)，通过在适配器内部添加额外的层来增加其表达能力，并使用自适应的学习率来优化训练过程。

实验结果表明，Adapter+不仅在多个任务上表现优异，而且比其他复杂的适应机制表现更好。此外，该架构具有很强的鲁棒性和易用性，并且无需手动调整超参数。

最近的相关研究包括使用低秩适应和其他适应机制来改进transformer模型的性能。