Guess The Unseen: Dynamic 3D Scene Reconstruction from Partial 2D Glimpses

本文提出了一种从单目视频输入中重建世界和多个动态人物的3D方法。作为关键思想，我们通过最近出现的3D高斯飞溅（3D-GS）表示法来表示世界和多个人物，从而方便和有效地组合和渲染它们。特别是，我们解决了3D人体重建中遇到的常见挑战，即严重限制和稀疏观察的情况。为了解决这个挑战，我们引入了一种新的方法，在规范空间中通过融合公共空间中的稀疏线索来优化3D-GS表示法，其中我们利用预训练的2D扩散模型合成未见过的视图，同时保持与观察到的2D外观的一致性。我们展示了我们的方法可以在各种具有挑战性的示例中重建高质量的可动画3D人体，包括遮挡、图像裁剪、少量样本和极度稀疏的观察。重建后，我们的方法不仅能够在任意时间点渲染场景的任意新视图，还能通过删除单个人物或为每个人物应用不同的动作来编辑3D场景。通过各种实验，我们展示了我们的方法在质量和效率方面优于其他现有方法。

从单目视频输入中重建世界和多个动态人物的3D表示，解决了在3D人体重建中常遇到的有限和稀疏观测数据的挑战。

使用3D高斯点插值（3D-GS）表示法来表示世界和多个人物，通过在规范空间中优化3D-GS表示来融合稀疏的线索，利用预训练的2D扩散模型合成未见过的视图，最终实现高质量的3D人体重建。

该方法能够在各种具有挑战性的例子中重建高质量的可动画3D人体，能够在任意时间点渲染场景和编辑3D场景。实验结果表明，该方法的质量和效率优于其他现有方法。

最近的相关研究包括：《Monocular Total Capture: Posing Face, Body, and Hands in the Wild》、《PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization》等。