Let Occ Flow: Self-Supervised 3D Occupancy Flow Prediction

本文介绍了Let Occ Flow，这是首个使用仅相机输入进行联合三维占据和占据流预测的自我监督工作，消除了对三维注释的需求，准确感知动态环境是自动驾驶和机器人系统的基本任务。利用TPV进行统一的场景表示和可变形注意层进行特征聚合，我们的方法采用了一个向后-向前的时间注意模块来捕捉动态对象的依赖关系，然后是一个三维精细化模块，用于细粒度体积表示。此外，我们的方法将可微分渲染扩展到三维体积流场，利用零样本2D分割和光流线索进行动态分解和运动优化。在nuScenes和KITTI数据集上的广泛实验表明，我们的方法在先前最先进的方法上具有竞争性的性能。

Let Occ Flow试图通过仅使用相机输入来联合预测三维占据和占据流，以实现对动态环境的准确感知。这是一个新问题，因为以往的方法需要三维注释。

该论文的关键思路是利用TPV进行统一场景表示和可变形注意力层进行特征聚合，然后采用前向-后向时间注意力模块来捕捉动态物体之间的依赖关系，随后使用三维细化模块进行精细化的体积表示。此外，该方法将可微渲染扩展到三维体积流场，利用零样本2D分割和光流线索进行动态分解和运动优化。

论文的亮点包括：1. 首次提出仅使用相机输入来联合预测三维占据和占据流；2. 采用了TPV和可变形注意力层进行特征聚合；3. 引入前向-后向时间注意力模块来捕捉动态物体之间的依赖关系；4. 将可微渲染扩展到三维体积流场；5. 在nuScenes和KITTI数据集上进行了广泛实验，表现优于先前的最先进方法。

最近的相关研究包括：1. 3D卷积神经网络在自动驾驶和机器人系统中的应用；2. 利用深度学习进行3D场景理解；3. 使用光流进行动态场景分割的方法。