作者：Matias Mendieta , Boran Han , Xingjian Shi 等
推荐理由：本文研究地理空间基础模型的多目标的、可持续的预训练方法。

简介：在当前世界中，地理空间技术对于地球监测和自然灾害响应等大范围任务变得越来越重要。为了帮助提高深度学习模型在这些地理空间任务上的适用性和性能，各种工作都在追求地理空间基础模型的想法，即在大型遥感图像语料库上从头开始训练网络。然而，这种方法通常需要大量数据和训练时间才能获得合适的性能，尤其是在使用大型最先进的Transformer模型时。
鉴于这些挑战，作者研究了一种构建地理空间基础模型的可持续方法。在作者的调查中，作者发现了这个过程中的两个重要因素。首先，作者发现预训练数据的选择很重要，即使在地理空间领域也是如此。因此，作者收集了一个简洁而有效的预训练数据集。其次，作者发现在构建地理空间基础模型时，不应忽略在 ImageNet-22k 等不同数据集上可用的预训练模型，因为它们的表示仍然非常有效。相反，通过利用它们的表示，作者可以以可持续的方式为地理空间应用程序构建强大的模型。为此，作者制定了一种多目标连续预训练方法来训练可持续地理空间基础模型。


论文下载：https://arxiv.org/pdf/2302.04476.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除