Reconstructing People, Places, and Cameras

我们提出了一种名为“人体与运动结构”（HSfM）的方法，可以从包含人物的稀疏未标定多视图图像中，在度量世界坐标系中联合重建多个人体网格、场景点云和相机参数。我们的方法将数据驱动的场景重建与传统的运动结构（SfM）框架相结合，以实现更精确的场景重建和相机估计，同时恢复人体网格。与现有的缺乏度量尺度信息的场景重建和SfM方法不同，我们的方法通过利用人体统计模型来估算近似度量尺度。此外，它在同一世界坐标系中重建多个人体网格以及场景点云，从而有效地捕捉个体之间的空间关系及其在环境中的位置。 我们使用稳健的基础模型初始化人体、场景和相机的重建，并联合优化这些元素。这种联合优化协同地提高了每个组件的准确性。我们在两个具有挑战性的基准测试EgoHumans和EgoExo4D上将我们的方法与现有方法进行了比较，展示了在世界坐标系中人体定位精度上的显著改进（在EgoHumans中将误差从3.51米减少到1.04米，在EgoExo4D中从2.9米减少到0.56米）。值得注意的是，我们的结果显示，将人体数据纳入SfM管道可以提高相机姿态估计的准确性（例如，在EgoHumans上将RRA@15提高了20.3%）。此外，定性结果表明，我们的方法改善了整体场景重建的质量。我们的代码可在以下网址获取：muelea.github.io/hsfm。

该论文试图解决从稀疏的多视角未标定图像中同时重建多个人体网格、场景点云和相机参数的问题，并将其置于度量世界坐标系中。这是一个相对较新的问题，尤其是在将人体数据纳入结构光运动（SfM）框架以提升整体重建精度方面。

关键思路是结合数据驱动的场景重建与传统的SfM框架，通过引入人体统计模型来估计近似度量尺度，从而实现更精确的场景重建和相机姿态估计。相比于现有方法，HSfM的独特之处在于它能够同时重建多个人体网格，并将它们与场景点云一起放置在同一个世界坐标系中，从而捕捉个体之间的空间关系及其在环境中的位置。

论文展示了显著改进的人体定位精度（在EgoHumans数据集上从3.51米减少到1.04米，在EgoExo4D数据集上从2.9米减少到0.56米），并提高了相机姿态估计的准确性。此外，论文还开源了代码，提供了更多的研究可能性。实验设计包括使用两个具有挑战性的基准数据集：EgoHumans和EgoExo4D。未来值得深入研究的方向包括进一步优化人体网格的重建质量以及探索更多复杂场景的应用。

最近在这个领域中，相关的研究包括《MonoPerfCap: Monocular Performance Capture of Multiple People》、《HumanMeshRec: Human Mesh Recovery from Multi-view Images》和《EgoSFM: Egocentric Structure-from-Motion for Dynamic Scenes》等。这些研究主要集中在单目或多视角下的人体捕捉、重建以及动态场景下的SfM问题。