UniSim: A Neural Closed-Loop Sensor Simulator

解决问题：本文旨在解决自动驾驶系统测试中的一个重要问题，即如何在闭环环境下评估自动驾驶系统的性能。文章提出了一种新的解决方案，将单个记录的日志转换为现实的闭环多传感器模拟，以便更准确地评估自动驾驶系统的性能。

关键思路：本文的关键思路是使用神经传感器模拟器UniSim，将单个记录的日志转换为闭环多传感器模拟。UniSim使用神经特征网格来重建场景中的静态背景和动态角色，并将它们组合在一起，以模拟新视点的LiDAR和相机数据。为了更好地处理外推视图，UniSim还利用可学习的动态对象先验，并利用卷积网络来完成未见区域。相比于当前领域的研究，本文的思路更加实用和高效。

其他亮点：本文的实验表明，UniSim可以在下游任务中模拟出具有小领域差距的真实传感器数据。此外，本文还开源了UniSim的代码，并使用了多个数据集进行了实验。这些工作为进一步深入研究提供了很好的基础。

关于作者：本文的主要作者是来自多个机构的研究人员，包括多伦多大学、加拿大国家研究委员会和Uber ATG。他们之前的代表作包括：Ze Yang在“3D Object Proposals for Accurate Object Class Detection”中提出了一种新的三维物体提议方法；Raquel Urtasun在“Learning to Drive: A Segmentation-Based Approach Using Deep Neural Networks”中提出了一种基于深度神经网络的分割驱动方法。

相关研究：近期其他相关的研究包括：“Learning to Drive in Dense Traffic by Imitating Human Drivers”（作者：Xinlei Pan等，机构：UC Berkeley）和“End-to-End Learning of Driving Models from Large-Scale Video Datasets”（作者：Shuran Song等，机构：Princeton University）。

论文摘要：本文介绍了一种名为UniSim的神经传感器模拟器，它可以将一辆装有传感器的车辆记录的单个日志转换为逼真的闭环多传感器模拟。UniSim建立神经特征网格以重建场景中的静态背景和动态角色，并将它们组合在一起，以在新的视点上模拟LiDAR和相机数据，包括添加或删除角色和在新位置放置角色。为了更好地处理外推视图，我们结合可学习的动态对象先验知识，并利用卷积网络来完成未见区域。我们的实验表明，UniSim可以模拟逼真的传感器数据，并在下游任务中具有小的域差距。使用UniSim，我们展示了一个自主系统在安全关键情景下的闭环评估，就像在真实世界中一样。

内容中包含的图片若涉及版权问题，请及时与我们联系删除