ICML 2022 | 字节提出首个用于评测预训练视觉语言模型真正泛化能力的基准评测平台 VLUE

字节跳动人工智能实验室的研究者提出了 VLUE（Vision-Language Understanding Evaluation Benchmark）——首个用于评测预训练视觉语言模型真正的泛化能力的基准评测平台。实验结果发现，目前多模态预训练的测评存在预训练数据和下游任务测评数据领域高度重合的问题，因此，普遍高估了视觉语言预训练模型真正的泛化和迁移能力。相关工作已经被 ICML 2022 接收。