Semantic Diversity-aware Prototype-based Learning for Unbiased Scene Graph Generation

这段摘要介绍了场景图生成（SGG）任务，它涉及在图像中检测对象并预测表示对象之间关系的谓词。然而，在SGG基准数据集中，每个主谓对都只注释了一个谓词，即使一个谓词可能具有多种语义（即语义多样性），现有的SGG模型也被训练为为每个对预测唯一的谓词。这反过来导致SGG模型忽视了谓词可能存在的语义多样性，从而导致偏见预测。本文提出了一种新颖的模型无关的语义多样性感知原型学习（DPL）框架，它能够基于对谓词语义多样性的理解实现无偏预测。具体而言，DPL学习了语义空间中每个谓词所覆盖的区域，以区分单个谓词可能表示的各种不同语义。大量实验证明了我们提出的模型无关的DPL框架在现有的SGG模型上带来了显著的性能提升，并且有效地理解了谓词的语义多样性。

本论文的问题是解决场景图生成任务中，一个主谓对只能标注一个谓词的问题，导致模型无法理解一个谓词的语义多样性，从而导致预测结果存在偏差。

本论文提出了一种新的模型无关的语义多样性感知原型学习框架，可以学习区分一个谓词的不同语义，并在现有的场景图生成模型上带来显著的性能提升。

本论文的实验结果表明，提出的框架可以有效地理解谓词的语义多样性，并在多个数据集上取得了最先进的性能。此外，本论文还提供了开源代码。

在最近的相关研究中，有一些工作也关注于场景图生成任务中谓词的语义多样性问题，例如“Graph R-CNN”和“VSGNet”。