AETTA: Label-Free Accuracy Estimation for Test-Time Adaptation

测试时适应（TTA）已成为一种可行的解决方案，可以使用未标记的测试数据来适应预先训练的模型以适应领域漂移。然而，TTA面临着适应失败的挑战，因为它依赖于对动态场景中的未知测试样本的盲目适应。传统的超出分布性能估计方法在TTA背景下受到限制，如需要标记数据或重新训练模型等不切实际的假设。为了解决这个问题，我们提出了AETTA，一种用于TTA的无标签准确度估计算法。我们提出了预测不一致性作为准确度估计，通过比较目标模型预测和辍学推理来计算。然后，我们改进了预测不一致性，以扩展AETTA在适应失败下的适用性。我们使用四个基线和六种TTA方法进行了广泛的评估，结果表明，AETTA相比基线平均准确度估计提高了19.8％。我们进一步通过一个模型恢复案例研究展示了准确度估计的有效性，展示了基于准确度估计的模型恢复的实用性。源代码可在https://github.com/taeckyung/AETTA上找到。

提出一种针对测试数据的无标签精度估计算法，以解决测试时间适应中的适应失败问题。

使用预测不一致性作为精度估计指标，通过比较目标模型预测与dropout推断的差异来计算。在适应失败的情况下，改进预测不一致性以扩展AETTA的适用性。

实验结果显示，AETTA相比于四个基线和六个TTA方法，平均精度估计提高了19.8%p。通过模型恢复案例研究进一步展示了精度估计的有效性和实用性。开源代码可在github上获取。

最近的相关研究包括：1）基于深度学习的精度估计方法；2）测试时间适应的方法；3）基于dropout的不确定性估计方法。