FoMo-Bench: a multi-modal, multi-scale and multi-task Forest Monitoring Benchmark for remote sensing foundation models

森林是地球生态系统和自然系统的重要组成部分，同时也提供了人类所依赖的服务。然而，由于土地利用决策和气候变化的影响，森林正在迅速改变。了解和缓解负面影响需要从广泛的感官模态解析全球范围内的森林数据。近年来，许多这样的问题已经使用机器学习算法进行了遥感处理。迄今为止，森林监测问题主要是孤立地进行的。受计算机视觉和遥感基础模型崛起的启发，我们在此介绍了第一个统一的森林监测基准测试（FoMo-Bench）。FoMo-Bench由15个多样化的数据集组成，涵盖了卫星、航空和清查数据，覆盖了各种地理区域，并包括具有不同时间、空间和光谱分辨率的多光谱、红绿蓝、合成孔径雷达（SAR）和激光雷达数据。FoMo-Bench包括多种类型的森林监测任务，包括分类、分割和目标检测。为了进一步增强FoMo-Bench中所代表的任务和地理区域的多样性，我们引入了一种新的全球数据集TalloS，将卫星图像与树种分类的地面注释相结合，涵盖了1000多个层次的分类（物种、属、科）。最后，我们提出了FoMo-Net，这是一个为森林监测设计的基础模型基线，具有处理遥感常用传感器的灵活性。本研究旨在激发机器学习和森林生物学研究人员之间的合作，探索可扩展的多模态和多任务模型，用于森林监测。所有代码和数据将公开发布。

本论文旨在通过建立一个统一的森林监测基准（FoMo-Bench），解决森林监测问题在孤立状态下进行的问题。该基准包括15个不同的数据集，涵盖卫星、航空和清单数据，包括多光谱、红绿蓝、合成孔径雷达（SAR）和激光雷达数据，以及多种时空和光谱分辨率。该基准包括多种类型的森林监测任务，涵盖分类、分割和目标检测。

本论文的关键思路是建立一个统一的森林监测基准（FoMo-Bench），该基准包括多个数据集和多种类型的森林监测任务，为远程感知的机器学习算法提供了一个标准的测试平台。此外，论文还提出了一种新的全球数据集TalloS，结合了卫星图像和地面注释，用于树种分类。

论文提出的FoMo-Bench为远程感知的机器学习算法提供了一个标准的测试平台，可以测试和比较不同算法的性能。此外，论文还提出了一种新的全球数据集TalloS，用于树种分类，该数据集可以用于研究森林生物学和生态学。FoMo-Net是一个基于基础模型的基线模型，具有处理远程感知常用传感器组合的灵活性。

最近在这个领域中，还有一些相关研究，如：1. A Convolutional Neural Network for Mapping Forest Types from Airborne Laser Scanning and Digital Aerial Imagery；2. A deep learning approach for detecting individual tree crowns in aerial imagery；3. Deep Learning for Remote Sensing Data: A Technical Tutorial on the State of the Art。