Enhanced Data Transfer Cooperating with Artificial Triplets for Scene Graph Generation

本文关注于为场景图生成（SGG）训练数据集增强信息关系三元组。由于缺乏有效的监督，当前的SGG模型对于训练样本不足的信息关系三元组的预测表现不佳。因此，我们提出了两个新颖的训练数据集增强模块：特征空间三元组增强（FSTA）和软传递。FSTA利用一个训练有素的特征生成器来生成对象在关系三元组中的表示，而基于偏见预测的采样在FSTA中有效地增强了人工三元组，重点关注具有挑战性的三元组。此外，我们引入了软传递，将软谓词标签分配给一般的关系三元组，以有效地为信息谓词类提供更多的监督。实验结果表明，集成FSTA和软传递在Visual Genome数据集上实现了高水平的召回率和平均召回率。召回率和平均召回率的平均值是所有现有的模型无关方法中最高的。

本论文旨在解决场景图生成中缺乏有效监督的问题，尤其是对于信息关系三元组的训练数据增强。

本论文提出了两种新的训练数据增强模块：特征空间三元组增强（FSTA）和软传递（Soft Transfer）。FSTA利用训练好的特征生成器生成对象在关系三元组中的表示，通过偏差预测的基于采样的方法高效地增强人工三元组。此外，本论文还引入了软传递，将软谓词标签分配给一般的关系三元组，以有效地为信息谓词类提供更多监督。

本论文的实验结果表明，将FSTA和Soft Transfer整合在一起可以在Visual Genome数据集中实现高水平的召回率和平均召回率。召回率和平均召回率的平均值是所有现有的模型无关方法中最高的。

在这个领域中，最近的相关研究包括：《Scene Graph Generation by Iterative Message Passing》、《Graph R-CNN for Scene Graph Generation》、《Neural Motifs: Scene Graph Parsing with Global Context》等。