Segmentation-guided Attention for Visual Question Answering from Remote Sensing Images

“遥感视觉问答”（RSVQA）是一项旨在回答关于遥感图像内容的自然语言问题的任务。因此，在VQA流程中，视觉特征提取是必不可少的一步。通过将注意力机制纳入此过程，模型可以有选择地关注图像中显著的区域，优先考虑给定问题的最相关视觉信息。在这项工作中，我们建议将一个由分割引导的注意力机制嵌入到RSVQA流程中。我们认为，分割在通过提供对视觉信息的上下文理解来引导注意力方面发挥着至关重要的作用，从而明确特定的对象或感兴趣的区域。为了评估这种方法，我们提供了一个新的VQA数据集，利用带有16个分割类别和问题/答案对注释的高分辨率RGB正射影像。我们的研究显示出我们的新方法的有希望的结果，在所提出的数据集上，相对于传统方法，总体准确率提高了近10%。

本文旨在解决遥感图像视觉问答中的特征提取问题，提出了一种基于分割引导的注意力机制，并通过新的VQA数据集进行了评估。

本文的关键思路是将分割引导的注意力机制嵌入到遥感图像视觉问答（RSVQA）流程中，通过提供对视觉信息的语境理解来指导注意力，从而提高准确性。

本文提供了一个新的VQA数据集，利用高分辨率RGB正射影像进行注释，并获得了比传统方法高近10％的总体准确性。值得关注的是，本文的方法还可以为特定对象或感兴趣的区域提供有针对性的关注，从而提高了精度。此外，本文还提供了开源代码。

最近的相关研究包括：1）基于深度学习的遥感图像分类；2）遥感图像分割的各种方法；3）遥感图像视觉问答的其他方法，如基于图像检索和生成的方法。