HUGS: Human Gaussian Splats

最近神经渲染的进展大大提高了训练和渲染的速度。虽然这些方法展示了最先进的质量和速度，但它们仅适用于静态场景的摄影测量，并且不适用于自由移动的人物。在这项工作中，我们引入了Human Gaussian Splats (HUGS)，使用3D高斯喷洒（3DGS）来表示可动画的人和场景。我们的方法仅需要一段包含50-100帧的单目视频，它能够自动学习将静态场景和完全可动画的人物分开，学习时间不到30分钟。我们利用SMPL身体模型初始化人类高斯。为了捕捉SMPL没有建模的细节（例如衣服，头发），我们允许3D高斯从人体模型偏离。使用3D高斯对动画人物进行渲染带来了新的挑战，包括在调整高斯时产生的伪影。我们提议联合优化线性混合蒙皮权重，以协调动画期间单个高斯的运动。我们的方法使得能够合成新的姿势和新的视角，同时以60 FPS的速度实现最先进的渲染质量，训练速度比以前的工作快了约100倍。我们的代码将在这里公布：https://github.com/apple/ml-hugs。

如何在动态场景中准确地呈现自由移动的人物？

使用3D高斯喷洒（3DGS）和人类高斯喷洒（HUGS）来表示可动画的人物和场景，通过联合优化权重来协调高斯喷洒的移动，从而实现人物的新姿势合成和场景的新视角合成。

论文提出了一种新的方法来处理动态场景下的人物呈现，使用3D高斯喷洒来表示人物和场景，可在只有50-100帧的单目视频中自动学习区分静态场景和可动画的人物。同时，使用线性混合皮肤权重来协调高斯喷洒的移动，从而减少动画中的伪影。实验结果表明，该方法在渲染质量和速度方面都达到了最先进的水平，且训练速度比以前的方法快了约100倍。

在最近的相关研究中，有一些研究集中在使用神经渲染技术来呈现静态场景，如NeRF和PIFu等。还有一些研究集中在人体建模和动画方面，如SMPL和HMR等。