Adaptive Cascading Network for Continual Test-Time Adaptation

我们研究了连续测试时间适应问题，即目标是在测试时间将源预训练模型适应到一系列未标记的目标域。现有的测试时间训练方法存在几个限制：（1）特征提取器和分类器之间不匹配；（2）主任务和自监督任务之间的干扰；（3）缺乏快速适应当前分布的能力。鉴于这些挑战，我们提出了一种级联范式，在测试时间同时更新特征提取器和分类器，减轻它们之间的不匹配，并实现长期模型适应。我们的模型预训练是在元学习框架内进行的，从而最小化主任务和自监督任务之间的干扰，并在有限的未标记数据存在时鼓励快速适应。此外，我们引入了创新的评估指标——平均准确率和前向转移，以有效衡量模型在动态的现实场景中的适应能力。广泛的实验和消融研究证明了我们方法在包括图像分类、文本分类和语音识别在内的一系列任务中的优越性。

论文旨在解决测试时领域自适应的问题，即如何在测试时将预训练模型调整到一系列未标记的目标领域。现有的测试时训练方法存在不匹配的特征提取器和分类器之间的问题，主任务和自监督任务之间的干扰以及缺乏快速适应当前分布的能力。

论文提出了一种级联范式，可以在测试时同时更新特征提取器和分类器，从而减轻它们之间的不匹配并实现长期模型适应。模型的预训练是在元学习框架内进行的，从而最小化主任务和自监督任务之间的干扰，并在有限的未标记数据存在的情况下鼓励快速适应。此外，作者引入了创新的评估指标，平均准确率和前向转移，以有效地衡量模型在动态的实际场景中的适应能力。

论文在图像分类、文本分类和语音识别等一系列任务中进行了广泛的实验和消融研究，并展示了该方法的优越性。值得注意的是，作者提出的级联范式可以在测试时快速适应当前分布，同时避免了主任务和自监督任务之间的干扰。此外，作者还提出了新的评估指标，可以更好地评估模型的适应能力。

在领域自适应方面，最近的相关研究包括：Unsupervised Domain Adaptation by Backpropagation、Learning Transferable Features with Deep Adaptation Networks和Adversarial Discriminative Domain Adaptation等。