FreeSim: Toward Free-viewpoint Camera Simulation in Driving Scenes

我们提出了FreeSim，一种用于自动驾驶的相机模拟方法。 FreeSim强调从超出记录的自我轨迹的视角进行高质量渲染。 在这些视角中，由于缺乏这些视角的训练数据，以前的方法会出现不可接受的退化。 为了解决这种数据稀缺问题，我们首先提出了一种带有匹配数据构建策略的生成增强模型。 该模型能够在略偏离记录轨迹的视角下生成高质量图像，条件是该视角下的降质渲染。 然后，我们提出了一种渐进重建策略，该策略逐步将未记录视角的生成图像加入重建过程，从略微偏离轨迹的视角开始，逐渐向更远的位置移动。 通过这一渐进生成-重建管道，FreeSim支持在超过3米的大偏差下实现高质量的非轨迹视图合成。

该论文试图解决自动驾驶相机模拟中，从超出记录的自车轨迹视角进行高质量渲染的问题。由于这些视角的训练数据稀缺，现有方法在这些视角下会出现不可接受的质量下降。这是一个实际应用中的重要问题，特别是在自动驾驶领域。

论文提出了FreeSim，一种新的相机模拟方法，通过两个关键步骤来解决数据稀缺问题：1) 提出了一种生成增强模型，结合匹配的数据构建策略，能够在略偏离记录轨迹的视角下生成高质量图像；2) 提出了渐进式重建策略，逐步将生成的未记录视角图像加入到重建过程中，从稍微偏离轨迹的视角开始，逐渐扩展到更远的视角。这种方法能够支持大偏差（超过3米）的高质量离轨视图合成。

论文的主要亮点包括：1) 通过生成增强模型和渐进式重建策略，显著提高了离轨视角下的图像质量；2) 实验设计详细，使用了多种数据集进行验证；3) 代码已开源，便于其他研究人员复现和进一步研究；4) 论文还讨论了未来的研究方向，如改进生成模型的鲁棒性和扩展到更多场景。

近期在自动驾驶相机模拟领域，有以下相关研究：1) 'NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis'，提出了一种基于神经辐射场的方法，用于高质量的视图合成；2) 'Multi-View Consistency in 3D Reconstruction'，探讨了多视角一致性在3D重建中的应用；3) 'Synthetic Data for Training Deep Learning Models in Autonomous Driving'，研究了合成数据在自动驾驶深度学习模型训练中的作用。