AUG: A New Dataset and An Efficient Model for Aerial Image Urban Scene Graph Generation

场景图生成（SGG）旨在从给定的图像中理解视觉对象及其语义关系。到目前为止，已经发布了许多具有人类视角的SGG数据集，但是具有俯视视角的SGG数据集研究较少。与人类视角中的物体遮挡问题相比，俯视视角提供了一种新的视角，有助于通过提供对地面场景中物体的空间关系的清晰感知来促进SGG。为填补俯视视角数据集的空白，本文构建并发布了一个航拍图像城市场景图生成（AUG）数据集。AUG数据集中的图像是用低空俯瞰视角拍摄的。在AUG数据集中，手动注释了25,594个对象、16,970个关系和27,175个属性。为避免在复杂的航拍城市场景中局部上下文被淹没，本文提出了一种新的局部保持图卷积网络（LPG）。与传统的图卷积网络不同，LPG的卷积层将对象的非破坏性初始特征与动态更新的邻域信息集成在一起，以在挖掘全局上下文的前提下保留局部上下文。为了解决在AUG中存在大量潜在的对象关系对，但其中只有一小部分是有意义的问题，我们提出了自适应边界框缩放因子的潜在关系检测（ABS-PRD）方法，以智能地剪枝无意义的关系对。在AUG数据集上的大量实验表明，我们的LPG可以显著优于最先进的方法，并且局部保持策略的有效性得到了证明。

本文旨在填补现有视角数据集的空白，构建并发布一个低空俯视图的城市场景图生成（AUG）数据集，以解决现有数据集无法涵盖的问题。

本文提出了一种新的局部保持图卷积网络（LPG）来解决复杂的低空俯视图场景中的对象关系问题，并提出了自适应边界框缩放因子用于植物无意义关系对。

本文的亮点包括：构建了一个新的低空俯视图的城市场景图生成（AUG）数据集；提出了一种新的局部保持图卷积网络（LPG）来解决对象关系问题；提出了自适应边界框缩放因子用于植物无意义关系对；在AUG数据集上进行了实验，并表明LPG可以显著优于现有方法。

最近在这个领域中的相关研究包括：Visual Genome、COCO和VG80K等视觉对象关系检测数据集；以及基于图卷积网络的目标检测和对象关系检测等方面的研究。