Flow4D: Leveraging 4D Voxel Network for LiDAR Scene Flow Estimation

了解周围环境的运动状态对于安全的自动驾驶至关重要。这些运动状态可以从场景流中精确地推导出来，场景流可以捕捉点的三维运动场。现有的激光雷达场景流方法从每个点云中提取空间特征，然后通道地融合它们，从而隐式地提取空间-时间特征。此外，它们利用2D俯视图并仅处理两帧，缺少沿Z轴的关键空间信息和更广泛的时间背景，导致性能不佳。为了解决这些限制，我们提出了Flow4D，它在3D体素内部特征编码器之后暂时融合多个点云，通过4D体素网络更明确地提取空间-时间特征。然而，虽然使用4D卷积可以提高性能，但会显著增加计算负载。为了进一步提高效率，我们引入了空间-时间分解块（STDB），它结合了3D和1D卷积，而不是使用沉重的4D卷积。此外，Flow4D通过使用五帧来利用更丰富的时间信息进一步提高性能。因此，该方法在实时运行时比现有技术方法的性能提高了45.9％，并在2024年Argoverse 2场景流挑战赛中获得了第一名。该代码可在https://github.com/dgist-cvlab/Flow4D上获得。

Flow4D论文旨在解决自动驾驶中获取周围环境的运动状态的问题。传统的LiDAR场景流方法提取每个点云的空间特征，然后通过通道融合它们，但是这种方法缺乏对Z轴的空间信息和更广泛的时间上下文。因此，Flow4D提出了一种基于4D体素网络的方法，通过在3D体素特征编码器之后暂时融合多个点云，从而更明确地提取时空特征。同时，为了进一步提高效率，Flow4D引入了Spatio-Temporal Decomposition Block（STDB），它使用3D和1D卷积来代替重量级的4D卷积。

Flow4D的关键思路是在3D体素特征编码器之后暂时融合多个点云，从而更明确地提取时空特征，并引入Spatio-Temporal Decomposition Block（STDB）来提高效率。

Flow4D使用了五个帧来利用更丰富的时间信息，实现了比现有方法高45.9%的性能，并在2024年Argoverse 2场景流挑战赛中获得了第一名。论文作者还提供了代码。

最近在这个领域中，还有一些相关的研究，如：LiDAR-Flow，FlowNet3D，PointPWC-Net等。