Unified Language-driven Zero-shot Domain Adaptation

本文介绍了一种新的任务设置——统一语言驱动的零样本领域自适应（ULDA），它可以使单个模型在没有显式领域ID知识的情况下适应多样的目标领域。我们发现现有的语言驱动零样本领域自适应任务存在一些限制，特别是需要领域ID和领域特定模型的要求，这可能会限制其灵活性和可扩展性。为了克服这些问题，我们提出了一个新的ULDA框架，包括分层上下文对齐（HCA）、领域一致表示学习（DCRL）和文本驱动的修正器（TDR）。这些组件协同工作，跨多个视觉层次对齐模拟特征和目标文本，保留不同区域表示之间的语义相关性，并在模拟和真实目标视觉特征之间修正偏差。我们广泛的实证评估表明，该框架在两种设置中均取得了竞争性能，甚至超过需要领域ID的模型，展示了其卓越性和泛化能力。所提出的方法不仅有效，而且保持实用性和效率，因为在推理过程中不会引入额外的计算成本。我们的项目页面是https://senqiaoyang.com/project/ULDA。

本论文提出了一种新的任务设置，名为统一语言驱动的零样本领域自适应（ULDA），旨在解决现有语言驱动的零样本领域自适应任务中需要领域ID和领域特定模型的限制，从而提高模型的灵活性和可扩展性。

本论文提出了一种ULDA框架，包括分层上下文对齐（HCA）、领域一致表示学习（DCRL）和文本驱动的修正器（TDR）三个组件，这些组件协同工作，从多个视觉层面对齐模拟特征和目标文本，保留不同区域表示之间的语义相关性，并在模拟和真实目标视觉特征之间进行校正。该框架在两种设置下均取得了有竞争力的性能，甚至超过需要领域ID的模型，展示了其优越性和泛化能力。

论文的实验设计充分，使用了多个数据集，并在实验结果中展示了ULDA框架的有效性和实用性。此外，论文还提供了开源代码，并指出未来可以将ULDA框架应用于更广泛的领域。

最近在这个领域中，还有一些相关的研究，例如《Zero-shot Domain Adaptation for Semantic Segmentation》和《Generalized Zero-Shot Learning via Synthesized Examples》等。