Automatic Domain Adaptation by Transformers in In-Context Learning

简介

选择或设计适合特定问题的领域自适应算法仍然具有挑战性。本文提出了一种Transformer模型，可以在上下文学习框架中证明逼近并选择适合给定数据集的领域自适应方法，其中基础模型在测试时不更新其参数即可执行新任务。具体来说，我们证明了Transformer可以逼近基于实例和基于特征的无监督领域自适应算法，并自动选择适合给定数据集的算法。数值结果表明，在上下文学习中表现出一种超越现有方法的自适应领域自适应能力。
图表
解决问题

如何选择或设计适当的领域自适应算法仍然具有挑战性。本文提出了一种Transformer模型，在上下文学习框架下，可以证明逼近和选择适合给定数据集的领域自适应方法。
关键思路

Transformer可以逼近基于实例和基于特征的无监督领域自适应算法，并自动选择适合给定数据集的算法。
其它亮点

实验结果表明，上下文学习展示了一种适应性的领域自适应，超越了现有方法。
相关研究

近期的相关研究包括：Unsupervised Domain Adaptation by Backpropagation、Deep Adversarial Attention Alignment、Learning Transferable Features with Deep Adaptation Networks等。