Empowering Source-Free Domain Adaptation with MLLM-driven Curriculum Learning

无源领域自适应（SFDA）旨在仅使用未标记的目标数据将预训练的源模型适应到目标领域。目前的SFDA方法在有效利用预训练知识和利用目标域数据方面面临挑战。多模态大型语言模型（MLLM）在理解视觉和文本信息方面具有显着的能力，但它们在SFDA中的适用性面临着指令跟随失败、计算需求高和在适应之前难以进行性能测量等挑战。为了缓解这些问题，我们提出了一种新颖的框架Reliability-based Curriculum Learning（RCL），该框架通过伪标签在SFDA中集成多个MLLM以实现知识利用。我们的框架包括提出的可靠知识转移、自我校正和MLLM引导的知识扩展以及多热掩膜细化，以逐步利用目标域中的未标记数据。RCL在多个SFDA基准测试中实现了最先进的性能，例如在DomainNet上实现了$\textbf{+9.4%}$的性能提升，证明了它在不需要访问源数据的情况下提高了适应性和鲁棒性的有效性。代码：https://github.com/Dong-Jie-Chen/RCL。

本论文旨在解决无源数据域适应（SFDA）中的知识利用和目标域数据开发的挑战。

该论文提出了一种新的框架，名为可靠性基于课程学习（RCL），通过伪标签来整合多个多模式大语言模型（MLLMs）进行知识利用，以逐步开发目标域中的未标记数据。

该论文的实验结果表明，RCL在多个SFDA基准测试中都取得了最先进的表现，例如在DomainNet上提高了+9.4%。此外，该论文还提供了开源代码。

在最近的相关研究中，还有一些与本论文相关的工作，例如“Unsupervised Domain Adaptation by Backpropagation”和“Domain-Adversarial Training of Neural Networks”。