Attention Based Simple Primitives for Open World Compositional Zero-Shot Learning

本文讨论的是组合零样本学习（CZSL），目标是预测由属性和对象组成的未知组合。预测未在训练中出现的组合是一项具有挑战性的任务。本研究探讨开放世界组合零样本学习（OW-CZSL），其中测试空间包括所有属性和对象的潜在组合。我们的方法涉及利用属性和对象之间的自我关注机制，以实现从已见到未见组合的更好泛化。利用自我关注机制有助于模型识别属性和对象之间的关系。在推理阶段，随后计算自我关注的文本和视觉特征之间的相似性以生成预测。潜在的测试空间可能包括来自不受限制的属性-对象配对的不合理对象-属性组合。为了缓解这个问题，我们利用ConceptNet的外部知识来限制测试空间，使其局限于现实组合。我们提出的Attention-based Simple Primitives（ASP）模型表现出竞争性的性能，达到了与最先进技术相当的结果。

本论文旨在解决组合零样本学习中的开放世界问题，即如何在测试阶段预测所有可能的属性和对象组合，同时防止出现不合理的组合。

本文提出了一种基于自注意力机制的模型，名为Attention-based Simple Primitives (ASP)，通过计算自注意力文本和视觉特征之间的相似性来生成预测结果，并利用外部知识库ConceptNet来限制测试空间，从而提高模型的泛化能力。

本文的实验结果表明，所提出的ASP模型在组合零样本学习任务中表现出色，达到了与当前最先进模型相当的效果。此外，本文还使用了多个数据集进行实验，并公开了代码。

近期的相关研究包括：1.《Large-scale Few-shot Learning: Knowledge Transfer with Class Hierarchy》；2.《Generalized Zero-Shot Learning via Synthesized Examples》；3.《Zero-shot Learning via Simultaneous Generating and Learning》。