GeoLLM-Engine: A Realistic Environment for Building Geospatial Copilots

地理空间副驾驶员通过自然语言指令解锁了执行地球观测（EO）应用的前所未有的潜力。然而，现有的代理程序依赖于过于简化的单一任务和基于模板的提示，与真实世界的情景存在脱节。在这项工作中，我们提出了GeoLLM-Engine，这是一个环境，用于工具增强代理，涵盖了遥感平台上分析师常规执行的复杂任务。我们通过地理空间API工具、动态地图/UI和外部多模态知识库来丰富我们的环境，以正确评估代理在解释现实高级自然语言命令方面的熟练程度以及在任务完成方面的功能正确性。通过减轻通常与人在环中基准策划相关的开销，我们利用我们的大规模并行引擎跨越100个GPT-4-Turbo节点，扩展到超过50万个不同的多工具任务和超过110万个卫星图像。通过超越传统的单任务图像说明范例，我们研究了最先进的代理和提示技术对于长期提示的应用。

GeoLLM-Engine旨在解决现有自然语言指令代理的局限性，通过增加地理空间API工具、动态地图/UI和外部多模态知识库来实现代理的高级任务执行和功能正确性。

GeoLLM-Engine通过引入多种工具和知识库，使自然语言指令代理能够执行更复杂的任务，同时保证功能正确性。

GeoLLM-Engine使用了大规模并行计算，可以处理超过50万个多工具任务和110万张卫星图像。该论文的亮点包括使用多种工具和知识库，以及使用长期视角的提示技术。

最近的相关研究包括基于自然语言处理的地理空间信息提取和基于卫星图像的地物分类和识别。