Efficient Prompting for Continual Adaptation to Missing Modalities

在现实应用中，模态缺失问题非常普遍，这可能是由于设备故障和隐私问题等因素引起的。当在下游数据集上微调预训练模型时，如果这些数据集中存在模态缺失，性能可能会显著下降。目前的方法通常通过聚合各种缺失情况进行恢复模块的训练或对齐多模态特征，但这会导致次优性能、高计算成本，并且在数据按顺序到达的持续环境中存在灾难性遗忘的风险。在本文中，我们将动态模态缺失问题表述为一个持续学习任务，并引入了持续多模态缺失任务。为了高效应对这一挑战，我们引入了三种类型的提示：特定模态提示、任务感知提示和任务特定提示。这些提示使模型能够学习模态内、模态间、任务内和任务间的特征。此外，我们提出了一种对比任务交互策略，以明确学习关联不同模态的提示。我们在三个公开数据集上进行了广泛的实验，结果表明我们的方法始终优于最先进的方法。

论文试图解决在实际应用中由于设备故障和隐私问题导致的模态缺失问题。当在具有缺失模态的下游数据集上微调预训练模型时，性能会显著下降。此外，当前方法在处理连续环境中数据顺序到达时，存在次优性能、高计算成本和灾难性遗忘的问题。这是一个现实且重要的问题，因为现有的方法未能有效应对动态变化的模态缺失。

论文将动态模态缺失问题重新定义为持续学习任务，并引入了持续多模态缺失模态任务。为了解决这个问题，作者提出了三种类型的提示：特定模态、任务感知和任务特定提示，这些提示帮助模型学习模态内、模态间、任务内和任务间的特征。此外，还提出了一种对比任务交互策略，以明确学习关联不同模态的提示。这种思路不仅新颖，而且针对现有方法的局限性提供了一个更有效的解决方案。

论文通过三个公开数据集进行了广泛实验，结果表明该方法始终优于现有最先进方法。实验设计严谨，涵盖了多种场景下的模态缺失情况。作者还强调了代码开源的重要性，虽然未提及具体是否已开源，但鼓励社区进一步研究和改进。未来值得深入的研究方向包括探索更多类型的提示及其组合，以及如何更好地适应不同的应用场景。

最近在这个领域中，相关研究包括《Handling Missing Modalities in Multimodal Learning》、《Continual Learning for Multimodal Data with Missing Modalities》和《Contrastive Learning for Multimodal Data Fusion》等。这些研究主要集中在如何处理静态环境中的模态缺失问题，而本文则进一步推进到动态和持续学习环境中，展示了更强的实用性和创新性。