Proxy Denoising for Source-Free Domain Adaptation

无源领域自适应（SFDA）旨在将预训练的源模型适应到没有源数据访问权限的未标记目标域。受预训练大型视觉语言（ViL）模型在许多其他应用中的成功启发，最新的SFDA方法也通过利用其预测作为伪监督来验证了ViL模型的好处。然而，我们观察到ViL的预测可能存在噪声和不准确性，可能在适应过程中引入额外的负面影响。为了解决这个至今被忽视的挑战，在本文中，我们引入了一种新颖的代理去噪（ProDe）方法。具体而言，我们利用ViL模型作为代理来促进适应过程，使其朝向潜在的域不变空间。关键是，我们设计了一个代理去噪机制来纠正ViL的预测。这基于一种新颖的代理置信度理论，通过优雅地对代理的发散性对抗域不变空间的领域自适应效果进行建模。为了利用修正后的代理，我们进一步推导了一种相互知识蒸馏正则化。广泛的实验表明，我们的ProDe在传统的封闭集设置和更具挑战性的开放集、部分集和广义SFDA设置下都显著优于当前最先进的替代方案。代码即将发布。

本文旨在解决Source-free Domain Adaptation (SFDA)中，使用预训练的大型视觉-语言（ViL）模型作为伪监督时，ViL模型预测的嘈杂和不准确性可能会在适应过程中引入负面影响的问题。

本文提出了一种名为Proxy Denoising (ProDe)的方法，旨在通过设计代理去噪机制来纠正ViL模型的预测，以便更好地适应目标领域。

本文的亮点在于，提出了一种全新的代理去噪方法，有效提高了适应的性能。此外，本文还使用了多种数据集进行了广泛的实验，并在传统闭集设置和更具挑战性的开放集、部分集和广义SFDA设置下显著优于当前的最先进方法。作者还表示将很快公开代码。

近期在这个领域中，还有一些相关研究，例如《Unsupervised Domain Adaptation by Backpropagation》、《Domain Adaptive Faster R-CNN for Object Detection in the Wild》等。