Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting

测试时间适应（TTA）旨在通过适应任何测试样本来解决训练和测试数据之间可能存在的分布偏移问题。尽管最近的TTA表现出了良好的性能，但我们仍面临两个关键挑战：1）先前的方法对于每个测试样本执行反向传播，导致许多应用程序的优化成本难以承受；2）虽然现有的TTA可以显著提高超出分布数据的测试性能，但它们经常在TTA后的分布数据上遭受严重的性能降级（称为遗忘）。为此，我们提出了一种高效的抗遗忘测试时间适应（EATA）方法，该方法开发了一个主动样本选择标准，以识别可靠且非冗余的测试样本进行测试时间熵最小化。为了减轻遗忘，EATA引入了一个从测试样本估计的Fisher正则化器，以约束重要的模型参数不会发生剧烈变化。然而，在EATA中，采用的熵损失为预测分配了更高的置信度，即使对于潜在不确定的样本，也会导致过度自信的预测。为了解决这个问题，我们进一步提出了带校准的EATA（EATA-C），以分别利用可降低的模型不确定性和固有数据不确定性进行校准TTA。具体来说，我们通过全网络和其子网络之间的预测差异来衡量模型不确定性，提出了一种差异损失来鼓励一致的预测，而不是过度自信的预测。为了进一步重新校准预测置信度，我们利用预测标签之间的不一致性作为数据不确定性的指标，然后设计了一个最小-最大熵正则化器，以有选择地增加和减少不同样本的预测置信度。图像分类和语义分割的实验验证了我们方法的有效性。

本文提出了一种有效的测试时间适应（TTA）方法，旨在解决训练和测试数据之间可能存在的分布偏移问题。同时，该方法还试图解决现有TTA方法中存在的两个主要挑战：测试样本的反向传播导致优化成本过高，以及TTA对内部分布数据的性能严重下降（称为遗忘）的问题。

该方法采用主动样本选择准则，通过测试时熵最小化来识别可靠且非冗余的样本。为了减轻遗忘，该方法引入了来自测试样本的Fisher正则化器，以约束重要的模型参数不受剧烈变化的影响。此外，为了解决现有TTA方法中预测置信度过高的问题，该方法进一步提出了EATA-C，通过利用可减少的模型不确定性和固有的数据不确定性来进行校准TTA。

该方法在图像分类和语义分割上进行了实验验证，结果表明该方法的有效性。该方法还提出了EATA-C以解决现有TTA方法中预测置信度过高的问题。

最近在这个领域中，还有一些相关的研究，如Conditional Channel Gated Networks for Task-Aware Continual Learning和Dynamic Task Prioritization for Lifelong Learning。