MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video

单视角服装人体重建在虚拟现实应用中占据着核心地位，特别是在涉及复杂人体动作的情境中。实现逼真的服装变形是一个具有显著挑战性的问题。当前的方法往往忽视了运动对表面变形的影响，导致表面缺乏全局运动所施加的约束。为了克服这些限制，我们引入了一种创新的框架——基于运动的三维服装人体合成（MOSS），它利用运动信息实现了人体表面的运动感知高斯分割。我们的框架由两个模块组成：运动学高斯定位喷洒（KGAS）和表面变形检测器（UID）。KGAS采用矩阵-费舍尔分布将全局运动传播到身体表面。该分布的密度和旋转因子明确控制高斯分布，从而增强了重建表面的逼真度。此外，为了解决单视角中的局部遮挡，基于KGAS，UID识别出显著的表面，并进行几何重建以补偿这些变形。实验结果表明，MOSS在单目视频中实现了3D服装人体合成的最新视觉质量。值得注意的是，我们在LPIPS*方面将Human NeRF和高斯喷洒分别提高了33.94%和16.75%。代码可在https://wanghongsheng01.github.io/MOSS/上获得。

解决问题：论文旨在解决单视角下的衣着人物重建中的衣服变形问题，提高重建表面的真实性。

关键思路：文章提出了一种新的框架MOSS，利用运动信息实现基于运动的高斯分割，从而提高重建表面的真实性。该框架包括两个模块，KGAS和UID，其中KGAS利用矩阵Fisher分布来传播全局运动，UID则用于处理局部遮挡问题。

其他亮点：实验结果表明，MOSS在单视角下的衣着人物重建方面取得了最先进的视觉质量。研究使用了开源代码，并在Human NeRF和高斯分割方面分别取得了33.94%和16.75%的改进。

相关研究：最近的相关研究包括：NeRFactor: Neural Radiance Fields + Factorization for Joint Multiview 3D Reconstruction and Novel View Synthesis, Neural Body: Implicit Neural Representations of Human Bodies,等等。