The Solution for the 5th GCAIAC Zero-shot Referring Expression Comprehension Challenge

本报告提出了一种零样本指称表达理解任务的解决方案。近年来，视觉语言多模态基础模型（例如CLIP，SAM）作为主流研究的基石，引起了重视。多模态基础模型的关键应用之一在于其能够推广到零样本下游任务。与传统的指称表达理解不同，零样本指称表达理解旨在直接将预训练的视觉语言模型应用于任务，而无需特定的训练。最近的研究通过引入视觉提示，增强了多模态基础模型在指称表达理解任务中的零样本性能。为了应对零样本指称表达理解挑战，我们引入了视觉提示的组合，并考虑了文本提示的影响，采用了针对数据特征的联合预测。最终，我们的方法在A榜上实现了84.825的准确率，在B榜上实现了71.460的准确率，获得了第一名。

本论文的问题是解决零样本指代理解任务的挑战，即在没有特定训练的情况下，将预训练的视觉-语言模型直接应用于任务中。

论文提出了一种视觉提示和考虑文本提示的组合方法，采用针对数据特征的联合预测，以提高多模态基础模型在零样本指代理解任务中的性能。

论文的实验结果表明，该方法在A榜上的准确率达到84.825，在B榜上的准确率达到71.460，排名第一。此外，论文还使用了多个数据集进行实验，并开源了代码。

在这个领域中，最近的相关研究包括：1.《Generating Natural Language Adversarial Examples through Probability Weighted Word Saliency》；2.《VisualBERT: A Simple and Performant Baseline for Vision and Language》；3.《ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks》等。