LITE: Modeling Environmental Ecosystems with Multimodal Large Language Models

环境生态系统的建模在可持续管理地球方面起着关键作用。准确预测关键环境变量的时空变化可以帮助决策者做出明智的政策和决策，从而提高人民的生活水平。最近，基于深度学习的方法在模拟预测环境变量的空间-时间关系方面表现出了很大的潜力。然而，这些方法通常在处理不完整的特征和分布偏移方面存在缺陷，这是由于数据采集的巨大成本和测量仪器的故障而普遍存在于环境数据中的。为了解决这些问题，我们提出了LITE——一种用于环境生态系统建模的多模态大型语言模型。具体而言，LITE通过将不同的环境变量转化为自然语言描述和折线图像来统一不同的环境变量。然后，LITE利用统一的编码器来捕捉不同模态之间的时空动态和相关性。在此步骤中，不完整的特征被一个稀疏的专家混合模型进行插值，分布偏移则通过结合过去观测的多粒度信息来处理。最后，在领域指令的指导下，采用语言模型来融合多模态表示进行预测。我们的实验表明，与最佳基线相比，LITE在不同领域的环境时空预测中显著提高了性能，预测误差减少了41.25％，证明了其有效性。我们的数据和代码可在https://github.com/hrlics/LITE上获得。

论文旨在解决环境生态系统建模中存在的特征不完整和分布偏移问题，提出一种基于自然语言和图像的多模态大型语言模型LITE。

LITE将不同的环境变量转化为自然语言描述和折线图像，并利用统一编码器捕捉不同模态的空间-时间动态和相关性。在此过程中，采用稀疏专家混合模型来填补不完整的特征，并通过融合过去观测的多粒度信息来处理分布偏移。最后，采用语言模型融合多模态表示进行预测。

实验结果表明，与最佳基线相比，LITE在不同领域的环境空间-时间预测中显著提高了性能，预测误差降低了41.25％。论文提供了数据和代码，可在https://github.com/hrlics/LITE上获得。

在这个领域中，最近的相关研究包括使用深度学习方法建模空间-时间关系的工作，但这些方法通常无法处理特征不完整和分布偏移问题。