DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception

最近，真实世界的3D场景中的动作合成引起了很多关注。然而，大多数当前方法所做的静态环境假设通常无法满足实时点云场景中的动态运动合成，尤其是存在多个动态对象，例如移动的人或车辆。为了解决这个问题，我们提出了第一个动态环境运动合成框架（DEMOS），根据当前场景立即预测未来运动，并将其用于动态更新最终运动合成的潜在运动。具体而言，我们提出了一种球形BEV感知方法，以提取特定于即时场景感知运动预测的局部场景特征。然后，我们设计了一种时变运动融合方法，将新预测的运动融合到潜在运动中，最终运动是从更新后的潜在运动中推导出来的，从运动先验和迭代方法中受益。我们统一了两个流行数据集PROX和GTA-IM的数据格式，并将它们用于3D场景中的运动合成评估。我们还评估了所提出方法在GTA-IM和Semantic3D中动态环境中的有效性以检查其响应性。结果显示，我们的方法明显优于以前的工作，在处理动态环境方面表现出色。

论文旨在解决动态环境下实时运动合成的问题，提出了一种新的动态环境运动合成框架（DEMOS），并尝试将其应用于扫描点云场景中的多个动态对象的运动合成。

DEMOS框架通过使用球形BEV感知方法提取局部场景特征，实现了基于当前场景的即时运动预测，并使用时间变化的运动混合将新的预测运动融合到潜在运动中，最终的运动合成结果从更新后的潜在运动中得出。

论文使用PROX和GTA-IM数据集进行了实验评估，结果表明该方法在动态环境下的表现优于之前的方法。此外，论文还将两个流行数据集的数据格式统一，并提供了开源代码。

最近的相关研究包括：《Learning to Navigate the Energy Landscape》、《Real-time 3D Object Detection from Point Clouds on Mobile Devices Using Deep Learning》等。