零镜头学习使用语义属性来连接看不见的对象的搜索空间。 近年来,尽管深度卷积网络为ZSL任务带来了强大的视觉建模功能,但其视觉特征具有严重的模式惯性和缺乏语义关系表示的能力,从而导致严重的偏见和歧义。 针对这种情况,我们提出了一种基于图的视觉语义纠缠网络,对视觉特征进行图建模,并通过知识图将其映射到语义属性上,它包含以下几种新颖的设计:1.建立多路径 卷积神经网络(CNN)和图卷积网络(GCN)纠缠的网络,将CNN的视觉特征输入到GCN以对隐式语义关系建模,然后GCN将图建模信息反馈给CNN特征; 2.以属性词向量为目标的GCN图形语义建模,形成图形的自洽回归,并监督GCN学习更多的个性化属性关系; 2。 3.它融合并补充了通过图形建模改进的层次化视觉语义特征,使其成为视觉嵌入。 通过促进视觉特征的语义链接建模,我们的方法在多个代表性的ZSL数据集(AwA2,CUB和SUN)上的表现优于最新方法。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢