Context Matters: Leveraging Spatiotemporal Metadata for Semi-Supervised Learning on Remote Sensing Images

遥感项目通常会产生大量图像，这些图像可以用于训练强大的深度神经网络。然而，由于遥感应用通常需要专家标注员，因此标记图像的数量往往很少。因此，半监督学习（SSL）即使用少量标记数据和更多未标记数据进行学习在这个领域特别有用。目前的SSL方法通过模型预测未标记样本的伪标签。由于伪标签的质量对性能至关重要，因此利用其他信息来改善伪标签的质量是一个有前途的方向。对于遥感图像，地理位置和记录时间通常是可用的，并且作为语义概念的有价值信息，例如土地覆盖高度依赖于时空上下文，例如由于季节效应和植被区域。在本文中，我们提出利用时空元信息在SSL中改善伪标签的质量，从而提高最终模型的性能。我们表明，在测试时直接将可用元数据添加到预测器的输入中会降低元数据在训练集时空分布之外的预测质量。因此，我们提出了一种教师-学生SSL框架，只有教师网络使用元信息来改善训练集上伪标签的质量。相应地，我们的学生网络受益于改进的伪标签，但不接收元数据作为输入，使其对测试时的时空移位具有不变性。此外，我们提出了编码和注入时空信息到模型的方法，并引入了一种新的蒸馏机制来增强教师和学生之间的知识转移。我们的框架称为Spatiotemporal SSL，可以轻松地与几个统计方法相结合。

如何利用卫星遥感图像进行半监督学习？

利用卫星遥感图像的时空元信息来提高半监督学习中的伪标签质量，提出了一种基于teacher-student框架的Spatiotemporal SSL方法。

论文提出的Spatiotemporal SSL方法在半监督学习中利用时空元信息来提高伪标签质量，进而提高模型性能。该方法通过teacher-student框架，只在训练时使用元信息，而在测试时不使用，从而避免了模型对时空变化的敏感性。同时，论文提出了编码和注入时空信息的方法，以及一种新的蒸馏机制来增强teacher和student之间的知识转移。实验结果表明，该方法在多个数据集上均取得了优于其他方法的性能。

在半监督学习和遥感图像分类领域，已有许多相关研究。例如，Mean Teacher、FixMatch等半监督学习方法，以及基于深度学习的遥感图像分类方法，如DeepGlobe、Sen2LC等。