Parameter-Selective Continual Test-Time Adaptation

Continual Test-Time Adaptation (CTTA)旨在在不断变化的环境下，在测试时间内针对连续的领域转移调整预训练模型。大多数现有的CTTA方法都基于Mean Teacher（MT）结构，其中包含一个学生模型和一个教师模型，学生模型使用来自教师模型的伪标签进行更新，然后通过指数移动平均策略更新教师模型。然而，这些方法会对MT模型的所有参数进行不加区分的更新。也就是说，涉及跨不同领域共享知识的某些关键参数可能会被抹去，加剧错误积累和灾难性遗忘。在本文中，我们介绍了参数选择Mean Teacher（PSMT）方法，它能够在领域转移下有效地更新MT网络中的关键参数。首先，我们在学生模型中引入选择性蒸馏机制，利用过去的知识来规范新领域的知识，从而减轻错误积累的影响。其次，在教师模型中，为了避免灾难性遗忘，我们通过Fisher信息创建掩码，通过指数移动平均有选择地更新参数，并对关键参数应用保护措施。广泛的实验结果验证了PSMT在多个基准数据集上优于最先进的方法。我们的代码可在\url{https://github.com/JiaxuTian/PSMT}上获得。

本文旨在解决在测试时间下，针对不断变化的环境进行预训练模型的持续适应性问题，以应对不断变化的领域转移。同时，本文试图解决当前Mean Teacher结构下更新模型时对所有参数进行不加区分的更新，导致关键参数被抹去的问题。

本文提出Parameter-Selective Mean Teacher (PSMT)方法，通过选择性蒸馏机制和Fisher信息掩膜来有效地更新MT网络中的关键参数，以提高模型的适应性和防止灾难性遗忘。

本文的亮点包括：引入选择性蒸馏机制和Fisher信息掩膜来选择性更新关键参数，从而提高模型的适应性和防止灾难性遗忘；在多个基准数据集上验证了PSMT方法的优越性；代码已开源。

与本文相关的研究包括Mean Teacher结构下的不同变体，如Mean Teacher with Learnable Reweighting of Examples (MT-LRE)，以及其他一些针对测试时间持续适应性的方法，如Online Meta-Learning (OML)和Adaptive Weight Consolidation (AWC)。