SkySenseGPT: A Fine-Grained Instruction Tuning Dataset and Model for Remote Sensing Vision-Language Understanding

遥感大型多模型（RSLMMs）正在快速发展，并展示出在遥感图像（RSI）理解方面的显著能力。然而，由于现有数据集的限制，RSLMMs在理解复杂遥感场景中对象之间的丰富语义关系方面存在缺陷。为了发挥RSLMMs的复杂理解能力，我们提出了一个大规模指令调整数据集FIT-RS，包含1800851个指令样本。FIT-RS涵盖了常见的解释任务，并创新地引入了几个不断升级难度的复杂理解任务，从关系推理到图像级场景图生成。基于FIT-RS，我们建立了FIT-RSFG基准测试。此外，我们建立了一个新的基准测试来评估LMMs的细粒度关系理解能力，名为FIT-RSRC。基于组合指令数据，我们提出了SkySenseGPT，在公共数据集和FIT-RSFG上均取得了优秀的表现，超过了现有的RSLMMs。我们希望FIT-RS数据集可以增强RSLMMs的关系理解能力，并为遥感社区提供一个大规模的细粒度数据源。该数据集将在https://github.com/Luo-Z13/SkySenseGPT上提供。

本文旨在解决现有数据集限制下，Remote Sensing Large Multi-Modal Models（RSLMMs）在理解复杂的遥感场景中存在的语义关系缺陷的问题。

本文提出了一个大规模的指令微调数据集FIT-RS，包含1,800,851个指令样本，并引入了几个不断升级难度的复杂理解任务，以解锁RSLMMs的复杂理解能力。

本文建立了FIT-RSFG基准测试和FIT-RSRC评估细粒度关系理解能力的新基准测试，提出了SkySenseGPT，该模型在公共数据集和FIT-RSFG上均表现出色，超过了现有的RSLMMs。

在这个领域中，最近的相关研究包括：1.《A Survey on Deep Learning for Remote Sensing Image Analysis: Recent Advances and Future Directions》；2.《Deep Residual Learning for Weakly-Supervised Change Detection in Remote Sensing Images》；3.《Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art》等。