CLIP-UP: CLIP-Based Unanswerable Problem Detection for Visual Question Answering

最近的视觉-语言模型（VLMs）在视觉理解和推理方面展现了卓越的能力，特别是在多项选择的视觉问答（VQA）任务中。然而，这些模型仍会犯一些明显不自然的错误，例如对无法回答的VQA问题提供（错误的）答案，比如询问图像中未出现的物体的问题。为了解决这一问题，我们提出了CLIP-UP：基于CLIP的不可回答问题检测方法，这是一种新颖且轻量级的方法，使VLMs具备识别并拒绝回答不可回答问题的能力。通过利用CLIP提取问题与图像之间的对齐信息，CLIP-UP只需高效训练几个额外的层，同时保持原有VLM权重不变。在LLaVA模型上的测试表明，CLIP-UP在评估多项选择VQA中不可回答问题的MM-UPD基准上达到了最先进的结果，同时保留了在其他任务上的原有性能。

该论文试图解决视觉语言模型（VLMs）在面对不可回答的视觉问答（VQA）问题时仍然提供错误答案的问题。这是一个相对新颖的问题，旨在提高模型对问题可回答性的判断能力。

关键思路是通过引入CLIP-UP方法，利用CLIP模型提取图像和问题之间的对齐信息，以检测不可回答的问题。此方法仅需训练少量额外层，且不改变原有VLM的权重，从而实现轻量级改进。相比现有研究，这种方法更专注于提升模型识别不可回答问题的能力，而不是仅仅提高正确答案的准确性。

论文的主要亮点包括：1) 在MM-UPD基准上取得了当前最佳的结果；2) 实验设计严谨，测试了多个LLaVA模型；3) 方法保持了模型在其他任务上的原始性能；4) 使用了公开数据集进行验证，代码也已开源，便于后续研究者复现和进一步探索。

最近在这个领域中，相关的研究还包括：1)《Improving Visual Question Answering Models with Contextual Information》；2)《Detecting Unanswerable Questions in VQA via Adversarial Training》；3)《A Comprehensive Analysis of Visual Question Answering Systems》。这些研究都致力于提高VQA系统的准确性和鲁棒性，但CLIP-UP特别关注于不可回答问题的检测。