Synthesizing Knowledge-enhanced Features for Real-world Zero-shot Food Detection

食品计算为计算机视觉带来了不同的视角，例如基于视觉的食品分析，以实现营养和健康。作为食品计算的基本任务，食品检测需要在新出现的、未见过的食品对象上进行零样本检测（ZSD），以支持实际场景，例如智能厨房和智能餐厅。因此，我们首先通过引入具有丰富属性注释的FOWA数据集来对零样本食品检测（ZSFD）任务进行基准测试。与ZSD不同，ZSFD中的细粒度问题，如类间相似性，使合成特征不可分。食品语义属性的复杂性进一步使得当前的ZSD方法难以区分各种食品类别。为了解决这些问题，我们提出了一种新颖的框架ZSFDet，通过利用复杂属性之间的交互来解决细粒度问题。具体而言，我们通过多源图形建模ZSFDet中食品类别和属性之间的相关性，以提供区分细粒度特征的先验知识。在ZSFDet中，知识增强特征合成器（KEFS）通过多源图融合从多个来源（例如，知识图谱中的成分相关性）学习知识表示。在基于语义知识表示的融合条件下，KEFS中的区域特征扩散模型可以为训练有效的零样本检测器生成细粒度特征。广泛的评估表明，我们的方法ZSFDet在FOWA和广泛使用的食品数据集UECFOOD-256上具有优越的性能，与强基线RRFS相比，ZSD mAP分别提高了1.8％和3.7％。在PASCAL VOC和MS COCO上的进一步实验证明，语义知识的增强也可以提高一般ZSD的性能。代码和数据集可在https://github.com/LanceZPF/KEFS上获得。

本文旨在解决零样本食品检测的问题，通过引入FOWA数据集和丰富的属性注释来评估零样本食品检测任务。由于食品语义属性的复杂性，当前的零样本检测方法难以区分各种食品类别，因此需要一种新的方法来解决这个问题。

本文提出了一种名为ZSFDet的新框架，通过利用复杂属性之间的相互作用来解决细粒度问题。具体来说，ZSFDet通过多源图形建模食品类别和属性之间的相关性，为区分细粒度特征提供先验知识。在ZSFDet中，知识增强特征合成器（KEFS）通过多源图融合从多个来源（例如知识图谱中的成分相关性）学习知识表示。在语义知识表示的融合条件下，KEFS中的区域特征扩散模型可以为训练有效的零样本检测器生成细粒度特征。

本文提出的ZSFDet在FOWA和UECFOOD-256数据集上的性能明显优于强基线RRFS，与强基线相比，ZSFDet的ZSD mAP提高了1.8％和3.7％。在PASCAL VOC和MS COCO上的进一步实验证明，语义知识的增强也可以提高一般ZSD的性能。此外，本文还提供了代码和数据集。

近期在该领域的相关研究包括“Zero-shot Learning for Food Recognition: Dataset, Evaluation and Shared Feature Learning”和“Food Recognition Using Fusion of Class-Specific DenseNet for Fine-Grained Classification”。