CityNav: Language-Goal Aerial Navigation Dataset with Geographic Information

本文介绍了一项名为 CityNav 的新数据集，用于语言目标空中导航，并使用来自真实城市的 3D 点云表示。该数据集包括 32,637 个自然语言描述，与人类演示轨迹配对，通过为此研究开发的新型基于 Web 的 3D 模拟器从参与者那里收集。每个描述都指定了一个导航目标，利用了真实世界城市内地标的名称和位置。我们还提供了导航代理的基线模型，其中包括表示描述中引用的地标的内部 2D 空间地图。我们在 CityNav 数据集上对最新的空中导航基线和我们提出的模型进行了基准测试。使用此数据集的结果揭示了以下关键发现：（i）在人类演示轨迹上训练的空中代理模型优于在最短路径轨迹上训练的模型，凸显了人类驱动的导航策略的重要性；（ii）2D 空间地图的整合显著提高了城市规模的导航效率。我们的数据集和代码可在 https://water-cookie.github.io/city-nav-proj/ 上获得。

本文旨在解决城市空中导航领域的语言目标导航问题，目前该领域缺乏适合真实城市规模的资源进行研究。

本文提出了一种基于真实城市3D点云表示的语言目标空中导航新数据集CityNav，并提供了基准模型，包括一个内部2D空间地图，用于表示描述中提到的地标。实验结果表明，基于人类演示轨迹训练的空中代理模型优于基于最短路径轨迹训练的模型，并且2D空间地图的整合显著提高了城市规模导航的效率。

本文提供了一个新的真实城市3D点云表示的语言目标空中导航数据集CityNav，并提供了基准模型和实验结果。实验结果表明，基于人类演示轨迹训练的空中代理模型优于基于最短路径轨迹训练的模型，并且2D空间地图的整合显著提高了城市规模导航的效率。

最近的相关研究包括：Vision-and-language navigation (VLN)、地面导航和空中导航。