Updating CLIP to Prefer Descriptions Over Captions

尽管CLIPScore是一种强大的通用度量标准，可以捕捉文本和图像之间的相似性，但它无法区分旨在补充图像信息的标题和旨在完全替代图像的描述，例如为了实现可访问性。我们通过使用Concadia数据集更新CLIP模型来解决这个缺陷，使用参数高效的微调和基于因果可解释性研究的损失目标，以分配比标题更高的分数给描述。该模型与盲人和低视力人士的判断相关，并保留传递能力，具有可解释的结构，可以阐明标题和描述之间的区别。

本文试图通过更新CLIP模型以区分图像描述和图像标题，并通过Concadia数据集进行fine-tuning，解决了CLIPScore在区分图像描述和标题上的缺陷。

本文的关键思路是使用Concadia数据集进行fine-tuning，通过损失函数来区分图像描述和标题，并更新CLIP模型以提高准确性。

本文的实验结果表明，更新后的模型能够更好地区分图像描述和标题，并且与盲人和低视力人士的判断相一致。此外，该模型具有可解释性结构，有助于深入研究图像描述和标题的区别。

近期的相关研究包括使用其他数据集和方法进行fine-tuning以提高CLIP模型的准确性，以及探索图像描述和标题之间的差异。相关论文包括《A Simple Framework for Contrastive Learning of Visual Representations》和《Image Captioning and Visual Question Answering Based on Attributes and Their Related External Knowledge》等。