Active Scout: Multi-Target Tracking Using Neural Radiance Fields in Dense Urban Environments

我们研究高度遮挡的城市环境中的追逐-逃避游戏，例如城市中的高楼大厦，其中侦察机（四旋翼）跟踪地面上的多个动态目标。我们展示了使用来自不同视角的RGB和深度图像在线构建城市的神经辐射场（NeRF）表示的方法。该表示用于计算探索城市未知部分和跟踪目标的信息增益，从而为主动跟踪动态目标提供完全的第一原理方法。我们使用Open Street Maps的费城和纽约市数据构建了自定义模拟器，并演示了我们可以在300步内探索和定位20个静止目标。这比不使用主动感知的贪婪基线要慢。但是对于主动隐藏在遮挡物后的动态目标，我们展示了我们的方法最坏情况下可以保持200m的跟踪误差；贪婪基线的跟踪误差最大可达600m。我们观察到侦察机的策略具有许多有趣的特性，例如，随着NeRF表示随时间的改进，它会定期切换注意力以跟踪不同的目标，并且在目标跟踪方面，侦察机也变得更加优秀。

论文试图使用神经辐射场（NeRF）表示城市场景，并实现在高度遮挡的城市环境中追踪动态目标的主动感知方法。该方法可以探索未知的城市区域和追踪目标，为动态目标的追踪提供了全新的第一原理方法。

论文的关键思路是使用RGB和深度图像来在线构建城市的神经辐射场表示，并利用这个表示计算信息增益来主动感知和跟踪动态目标。与贪心算法相比，该方法可以在保持追踪误差较小的情况下，实现对动态目标的追踪。

论文使用Open Street Maps数据构建了Philadelphia和New York City的模拟器，并在其中探索和定位了20个固定目标。实验结果表明，该方法可以在300步内完成任务，比贪心算法慢。但对于那些在遮挡物后躲藏的动态目标，该方法保持了最多200m的追踪误差，而贪心算法的追踪误差可以高达600m。此外，研究还发现了一些有趣的策略，例如在时间推移过程中，探测器会定期切换目标，随着NeRF表示的质量不断提高，探测器在目标追踪方面也变得更好。

在这个领域中，最近的相关研究包括使用深度学习方法进行目标跟踪和使用神经辐射场表示进行三维场景重建。例如，论文《NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections》和《Deep Object Tracking with Contextual Relations》。