WALT3D: Generating Realistic Training Data from Time-Lapse Imagery for Reconstructing Dynamic Objects under Occlusion

当前的2D和3D物体理解方法在繁忙的城市环境中遇到严重的遮挡问题，部分原因是缺乏用于学习遮挡的大规模标注的真实数据。在这项工作中，我们介绍了一种新颖的框架，利用自由可用的时间-lapse图像自动生成大规模的、真实的带有遮挡的动态物体数据集。通过利用现成的2D（边界框、分割、关键点）和3D（姿态、形状）预测结果作为伪标签，自动识别未遮挡的3D物体并以剪贴画风格将其合成到背景中，确保外观真实且物理上准确的遮挡配置。伪标签的剪贴画图像使得物体重建方法能够高效地训练，并且能够抵抗遮挡的影响。我们的方法在2D和3D重建方面都取得了显著的改进，特别是在城市场景中遇到严重遮挡的物体，例如车辆和人。

如何解决在繁忙的城市环境中，由于缺乏大规模标记的遮挡真实数据，导致当前二维和三维物体理解方法无法很好地处理遮挡问题？

使用自由可用的时间序列图像生成大规模的真实动态遮挡物体数据集，通过利用现成的二维和三维预测结果作为伪标记，自动识别未遮挡的三维物体并将其合成到背景中，从而生成具有真实外观和物理正确的遮挡配置的剪贴画图像，并用于训练鲁棒性更好的物体重建方法。

通过实验验证，该方法在2D和3D重建方面均有显著提升，特别是在城市场景中处理车辆和行人等严重遮挡的物体时表现更佳。论文还开源了使用的数据集和代码。

在该领域的相关研究包括：《Deep High-Resolution Representation Learning for Human Pose Estimation》、《Mask R-CNN》等。