使用单个2D图像观测集进行非刚性场景的3D重建是计算机视觉和图形学领域长期研究的领域之一,同时也是一个活跃的领域。这是一个不适定的反问题,因为在没有附加先验假设的情况下,它允许无数的解,从而实现对于输入的2D图像的准确投影。非刚性重建是机器人、AR/VR或视觉内容创建等下游应用的基础构建块。使用单目相机的关键优势在于其无处不在和对终端用户的可用性,以及与更复杂的相机设置(如立体或多视图系统)相比的易用性。本文综述了最新的方法,从单个视频或单个视角集合中实现了各种可变形物体和复合场景的密集非刚性3D重建。文中回顾了从2D图像观察中的3D重建和变形模型的基础知识。然后从处理任意场景和仅作出少量先验假设的一般方法开始,逐步推进到处理更严格的先验空间或变形类型(如人脸、身体、手和动物)的技术。本文的一个重要部分还专门介绍了分类和方法的高级比较,以及讨论了训练和评估相关技术的数据集的概述。最后,本文讨论了该领域面临的挑战和使用评估方法所涉及的社会方面问题。

标题:State of the Art in Dense Monocular Non-Rigid 3D Reconstruction

作者:Edith Tretschk, Navami Kairanda, Mallikarjun B R, Rishabh Dabral, Adam Kortylewski, Bernhard Egger, Marc Habermann, Pascal Fua, Christian Theobalt, Vladislav Golyanik

论文:https://papers.labml.ai/api/v1/redirect/pdf?paper_key=0441cd24578211ed83c3df0643dd3af2