Exploring the Benefits of Vision Foundation Models for Unsupervised Domain Adaptation

在计算机视觉领域，实现对各种数据领域的稳健泛化仍然是一个重大挑战。这个挑战在安全关键应用中尤为重要，因为基于深度神经网络的系统必须在训练过程中未见过的各种环境条件下可靠地运行。我们的研究调查了视觉基础模型（VFMs）和无监督域自适应（UDA）方法在语义分割任务中的泛化能力是否互补。结果表明，将VFMs与UDA相结合具有两个主要优点：（a）它允许更好的UDA性能，同时保持VFMs的超出分布性能；（b）它使某些耗时的UDA组件变得多余，从而实现了显著的推理加速。具体而言，与等效模型大小相比，得到的VFM-UDA方法在之前的非VFM技术水平上实现了8.4倍的速度提高，同时在UDA设置中提高了1.2 mIoU，在超出分布泛化方面提高了6.1 mIoU。此外，当我们使用具有3.6倍参数的VFM时，VFM-UDA方法仍然保持3.3倍的速度提高，同时将UDA性能提高了3.1 mIoU，将超出分布性能提高了10.3 mIoU。这些结果强调了将VFMs与UDA相结合的重大优势，为语义分割中的无监督域自适应设定了新的标准和基线。

本文旨在解决计算机视觉中跨域数据通用性的问题，通过研究VFMs和UDA方法在语义分割任务中的互补性能力。

将VFMs和UDA方法相结合，可以提高UDA性能的同时保持VFMs的越域性能，并减少某些耗时的UDA组件，从而实现显著的推理加速。

实验结果表明，使用等效模型大小的VFM-UDA方法比先前非VFM状态下的方法提高了1.2 mIoU的UDA性能和6.1 mIoU的越域泛化性能，并实现了8.4倍的速度提升。此外，当使用参数多3.6倍的VFM时，VFM-UDA方法仍然保持了3.3倍的速度提升，并提高了3.1 mIoU的UDA性能和10.3 mIoU的越域性能。

近期的相关研究包括：Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training, Unsupervised Domain Adaptation for Semantic Segmentation: A Review。