Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling

尽管非刚性结构运动（NRSfM）已经得到广泛研究并取得了巨大进展，但仍存在关键挑战，阻碍了它们在广泛的实际应用中的应用：1）固有的运动/旋转歧义需要明确的相机运动恢复和额外的约束或复杂的Procrustean Alignment；2）现有的全局形状的低秩模型可能会过度惩罚3D形状序列中的剧烈变形。本文提出了从时空建模的角度解决上述问题的方法。首先，我们提出了一种新颖的时间平滑的Procrustean对齐模块，估计3D变形形状并通过连续对齐3D形状序列来调整相机运动。我们的新对齐模块解决了在对齐期间需要复杂参考3D形状的要求，更有利于非各向异性变形建模。其次，我们提出了一种空间加权方法，以适应不同位置上的低秩约束，以更好地适应剧烈的空间变形重建。我们的建模方法优于现有的基于低秩的方法，并且在不同数据集上进行的大量实验验证了我们方法的有效性。

解决问题：论文试图解决非刚性结构运动重建中的摄像机运动/旋转模糊和低秩模型过于严格的问题，提高重建的精度和鲁棒性。

关键思路：论文提出了一种新的时空建模方法，包括新颖的平滑Procrustean对齐模块和自适应空间加权低秩约束方法。这种方法可以更好地处理非等向性变形，并提高了重建的准确性和鲁棒性。

其他亮点：实验结果表明，该方法在多个数据集上都优于现有的低秩模型方法，同时也更加灵活和鲁棒。该论文还提供了开源代码和详细的实验分析，有助于进一步研究。

相关研究：最近的相关研究包括：《Robust Non-Rigid Structure from Motion with Low-Rank and Sparse Decomposition》、《Non-rigid Structure from Motion Using Rank Constraints》等。