NC-TTT: A Noise Contrastive Approach for Test-Time Training

2024年04月12日
  • 简介
    尽管深度学习模型在视觉任务方面表现出色,但在测试时面临领域转移时往往会遇到困难。测试时训练(TTT)方法因其能够通过添加与主任务共同优化的辅助目标来增强模型的鲁棒性而近来变得流行起来。作为严格无监督的辅助目标,该目标在测试时用于适应模型,而无需访问标签。在这项工作中,我们提出了一种基于噪声特征图判别的新型无监督TTT技术——噪声对比测试时训练(NC-TTT)。通过学习对投影特征图的嘈杂视图进行分类,然后在新领域上相应地调整模型,可以大幅恢复分类性能。对几个流行的测试时适应基线的实验表明,与最近的方法相比,我们的方法具有优势。代码可在以下网址找到:https://github.com/GustavoVargasHakim/NCTTT.git。
  • 图表
  • 解决问题
    研究如何通过无监督的Test-Time Training方法增强深度学习模型的鲁棒性,以应对测试时的领域转移问题。
  • 关键思路
    提出了一种基于对噪声特征图进行区分的无监督Test-Time Training方法,即Noise-Contrastive Test-Time Training(NC-TTT),通过学习对投影特征图的噪声视图进行分类,并在新的领域上相应地调整模型,从而恢复分类性能。
  • 其它亮点
    实验结果表明,与其他最近的测试时自适应方法相比,该方法具有明显的优势。该论文提供了代码,可以在GitHub上找到。值得进一步研究。
  • 相关研究
    相关研究包括Test-Time Training方法及其变体,如Adversarial Discriminative Domain Adaptation(ADDA)、Unsupervised Domain Adaptation via Structured Prediction(UDA-SP)等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论