CoLeCLIP: Open-Domain Continual Learning via Joint Task Prompt and Vocabulary Learning

本文探讨了视觉语言模型（VLMs）在开放域中的持续学习（CL）问题，其中模型需要对来自各种已知和未知领域的数据流进行持续更新和推理，包括新颖的类别。这种能力对于各种开放环境下的应用非常关键，例如AI助手、自动驾驶系统和机器人。目前的CL研究主要集中在已知类别的单一领域中的闭合集场景。像CLIP这样的大型预训练VLMs已经展示了卓越的零样本识别能力，最近的一些研究利用这种能力来缓解CL中的灾难性遗忘，但它们主要关注单一领域数据集中的闭合集CL。由于数据集中存在大量的类别相关性和域差异，以及预训练VLMs中零样本知识的遗忘，加上从新适应的数据集中学到的知识，因此大型VLMs的开放域CL具有更大的挑战性。在本文中，我们介绍了一种新的方法，称为CoLeCLIP，它基于CLIP学习了一个开放域CL模型。它通过联合学习一组任务提示和跨域类词汇来解决这些挑战。对11个领域数据集的广泛实验表明，CoLeCLIP在任务和类别增量学习设置下均优于最先进的方法。

本文探讨了视觉-语言模型（VLM）在开放域中的持续学习问题，即模型需要对来自不同领域的数据流进行持续更新和推理。这是各种应用程序中的关键能力，如AI助手、自动驾驶系统和机器人。当前的CL研究主要集中在已知类别的单一域中的封闭集合场景上。

本文提出了一种新的方法，称为CoLeCLIP，它基于CLIP学习开放域CL模型。通过学习一组任务提示符和跨域类词汇的联合学习，来解决大量类别相关性和数据集之间的域差异问题。与现有的方法相比，在任务和类别增量学习设置下，CoLeCLIP在11个领域数据集上表现出色。

本文的实验设计非常详细，使用了11个领域数据集，并提供了开源代码。CoLeCLIP的表现优于现有的开放域CL方法。

近期的相关研究包括：《Continual Learning in Natural Language Processing》、《Continual Learning for Robotics: Definition, Framework, and Review》等。