Human Gaussian Splatting: Real-time Rendering of Animatable Avatars

本文解决了从多视角视频中学习的逼真人体化身的实时渲染问题。虚拟人模型和渲染通常使用纹理网格，但最近的研究已经开发出了神经人体表示法，其视觉质量令人印象深刻。然而，这些模型很难实时渲染，当角色动作与训练观察不同时，其质量会降低。我们提出了一种基于三维高斯喷洒的可动人体模型，这是最近出现的一种非常高效的神经辐射场的替代方法。人体在规范空间中由一组高斯基元表示，该空间通过前向蒙皮和局部非刚性细化相结合的粗到细的方法进行变形。我们描述了如何从多视角观察中端到端地学习我们的Human Gaussian Splatting (HuGS)模型，并针对服装身体的新姿势合成的最新方法进行评估。我们的方法在THuman4数据集上比最先进的方法提高了1.5dB的PSNR，同时能够实时渲染（512x512分辨率下80 fps）。

论文旨在解决从多视角视频中学习逼真人体化身的实时渲染问题。

该论文提出了一种基于3D高斯点描的可动态人体模型，能够在保证渲染质量的同时实现实时渲染。

论文使用了多视角观察来学习可动态人体模型，并在THuman4数据集上进行了实验，相比现有方法获得了更好的渲染效果。论文提出的方法能够在512x512分辨率下以80帧每秒的速度实时渲染。

最近的相关研究包括使用神经辐射场进行虚拟人体建模和渲染的方法。