Dynamic Camera Poses and Where to Find Them

在动态互联网视频上大规模标注相机姿态，对于推进诸如逼真视频生成和模拟等领域至关重要。然而，收集这样的数据集十分困难，因为大多数互联网视频都不适合用于姿态估计。此外，即使是对最先进的方法而言，为动态互联网视频标注姿态也带来了显著的挑战。在本文中，我们介绍了 DynPose-100K，这是一个大规模的动态互联网视频数据集，包含相机姿态标注。我们的数据收集流程通过结合一组精心设计的任务特定模型和通用模型来解决过滤问题。在姿态估计方面，我们将最新的点跟踪、动态遮罩和运动结构重建技术相结合，从而超越了现有最佳方法的表现。我们的分析和实验表明，DynPose-100K 在多个关键属性上既具有大规模性又具备多样性，为各种下游应用的进一步发展提供了新的可能性。

该论文试图解决动态互联网视频中相机姿态的大规模注释问题，这对于真实感视频生成和模拟等领域的进步至关重要。这是一个具有挑战性的问题，因为大多数互联网视频不适合姿态估计，并且现有的方法在处理动态场景时存在局限性。

论文提出了一种名为DynPose-100K的大规模数据集，包含带有相机姿态注释的动态互联网视频。其关键思路在于：1) 使用任务特定模型与通用模型结合的过滤管道来筛选适合的视频；2) 结合点跟踪、动态遮罩和运动结构恢复（SfM）等最新技术进行姿态估计。相比现有方法，这种组合显著提高了姿态估计的准确性和鲁棒性。

1) DynPose-100K 数据集不仅规模大，而且在多个关键属性上表现出多样性，为下游应用提供了丰富的资源；2) 实验设计验证了数据集的质量和方法的有效性，包括与其他最先进的方法的对比分析；3) 数据集已开源，代码也可能提供，这将促进社区进一步研究；4) 值得深入研究的方向包括改进动态场景中的姿态估计算法以及探索更多基于该数据集的应用场景。

相关研究包括：1) 视频姿态估计领域的工作如《Monocular 3D Pose Estimation for Videos in the Wild》；2) 动态场景理解的研究如《Dynamic Video Understanding via Motion and Structure Learning》；3) 运动结构恢复(SfM) 的改进方法如《Incremental SfM with Loop Closure》；4) 大规模视频数据集构建的研究如《Kinetics: Large-scale Action Recognition Dataset》。这些研究共同推动了动态视频分析和相机姿态估计的进步。