Multi-Modal Vision Transformers for Crop Mapping from Satellite Image Time Series

使用不同卫星传感器获取的图像已经被证明可以在卫星图像时间序列（SITS）的作物分类框架中提高分类性能。现有的最先进的架构使用自注意机制来处理时间维度和卷积来处理SITS的空间维度。受到单模态SITS作物分类纯注意力架构的成功启发，我们引入了几种基于多模态多时序变压器的架构。具体而言，我们研究了Temporo-Spatial Vision Transformer（TSViT）中早期融合、交叉注意力融合和同步类令牌融合的有效性。实验结果表明，在具有卷积和自注意力组件的最先进架构中，有显着的改进。

论文旨在通过使用多种卫星传感器获取的图像来改善作物分类性能，提出了多模态多时间变压器架构，探究了不同融合方式下的效果，并与当前最先进的卷积和自注意力模型进行比较。

论文提出了多模态多时间变压器架构，包括早期融合、交叉注意力融合和同步类令牌融合，用于处理时空维度的数据，实现了对多种卫星传感器获取的图像的有效分类。

论文的实验结果表明，所提出的多模态多时间变压器架构相比于当前最先进的卷积和自注意力模型，在作物分类性能上有显著的提高，具有很高的应用价值。论文还提供了数据集和代码，方便其他研究者进行进一步研究。

在这个领域中，最近还有一些相关的研究，如《Multi-Task Learning for Crop Type Classification Using Multi-Temporal Satellite Imagery》和《Crop Type Classification Based on Multi-Temporal Sentinel-1 and Sentinel-2 Data Using Convolutional Neural Networks》等。