Exploring Generative AI for Sim2Real in Driving Data Synthesis

数据集对于训练和测试车辆感知算法至关重要。然而，真实世界图像的收集和注释非常耗时和昂贵。驾驶模拟器通过自动生成具有相应注释的各种驾驶场景来提供解决方案，但模拟到现实（Sim2Real）领域的差距仍然是一个挑战。尽管大多数生成人工智能（AI）遵循事实上的基于生成对抗网络（GAN）的方法，但最近出现的扩散概率模型在缓解驾驶数据合成的Sim2Real挑战方面尚未得到充分探索。为了探索性能，本文应用了三种不同的生成AI方法，利用驾驶模拟器中的语义标签映射作为创造逼真数据集的桥梁。从图像质量和感知的角度，对这些方法进行了比较分析。新的合成数据集包括驾驶图像和自动生成的高质量注释，成本低，场景变化大。实验结果表明，虽然基于GAN的方法在提供手动注释标签时擅长生成高质量图像，但使用模拟器生成的标签时，ControlNet生成的合成数据集具有更少的伪影和更高的结构保真度。这表明，基于扩散的方法可能提供改进的稳定性和解决Sim2Real挑战的另一种方法。

论文旨在解决使用驾驶模拟器生成真实世界图像数据集时存在的Sim2Real领域差距问题，从而提高车辆感知算法的训练和测试效果。

论文使用三种不同的生成式人工智能方法，以驾驶模拟器生成的语义标签图为桥梁，生成包括驾驶图像和高质量注释的合成数据集，其中采用了基于扩散的概率模型，这种方法相比当前主流的基于GAN的方法具有更好的稳定性和结构保真度。

论文通过实验比较了三种不同的生成式人工智能方法的性能，提出了使用基于扩散的概率模型作为替代方案解决Sim2Real领域差距问题的可能性。论文还开源了新的合成数据集和相关代码。

在该领域，最近的相关研究包括使用GAN生成合成数据集的方法，以及使用其他生成式模型解决Sim2Real领域差距问题的尝试。