Layerwise Early Stopping for Test Time Adaptation

本文提出了一种名为“分层早停”（LEAST）的测试时间适应（TTA）方法，旨在解决预训练模型在测试时学习新领域特征时需要平衡学习新特征和保留有用预训练特征的问题。其核心思想是，如果正在学习的特征对新领域没有帮助，就停止适应单个层。为此，我们提出了一种新的基于梯度的度量方法，用于测量当前学习特征与新领域的相关性，无需监督标签。具体而言，我们建议使用此度量方法动态确定何时在TTA过程中停止更新每个层。这种方法使适应更加平衡，仅限于受益的层，并且仅限于一定数量的步骤。这种方法还具有限制有用于处理新领域的预训练特征遗忘的附加效果。通过广泛的实验，我们证明了分层早停可以提高现有TTA方法在多个数据集、领域转移、模型架构和TTA损失方面的性能。

本文旨在解决测试时领域偏移的问题，通过在测试时使预训练模型学习新特征来适应新领域。同时，保持学习新特征和保留有用的预训练特征之间的平衡是一个挑战。

本文提出了一种名为LEAST的解决方案，即对TTA进行分层早停，如果正在学习的特征对新领域没有益处，则停止适应单个层。为了达到这个目的，本文提出了一种新的基于梯度的度量方法，用于衡量当前学习到的特征与新领域的相关性，无需监督标签。具体而言，本文建议使用这个度量来动态确定何时停止在TTA过程中更新每个层。这种方法使得适应更加平衡，仅限于从中受益的层，并且仅限于一定数量的步骤。这种方法还具有限制有用于处理新领域的预训练特征遗忘的附加效果。

本文通过广泛的实验表明，分层早停可以提高现有TTA方法在多个数据集、领域转移、模型架构和TTA损失方面的性能。本文还开源了代码。

与本文相关的研究包括：Adversarial Domain Adaptation for Stable Brain-Machine Interfaces、Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling等。