Gaussian Head & Shoulders: High Fidelity Neural Upper Body Avatars with Anchor Gaussian Guided Texture Warping

本文介绍了一种新的方法，通过在最新的3D高斯点云表示法中加入头部3D可塑模型（3DMM），成功创建了高保真度的头部化身。然而，大多数现有方法只能重建头部而没有身体，极大地限制了它们的应用场景。研究人员发现，简单地使用高斯函数来模拟穿衣胸部和肩膀往往会导致在新的姿势下出现模糊的重建和嘈杂的浮点数。这是因为高斯函数和点云的基本限制——每个高斯函数或点只能具有单一的方向辐射而没有空间变化，因此需要大量的高斯函数或点来表示复杂的空间变化纹理，即使是简单的几何形状也是如此。相比之下，研究人员提出了一种新的方法，使用神经纹理来模拟身体部位，包括粗略的颜色和姿势相关的细节颜色。为了在没有准确几何形状和UV映射的情况下为每个视角和姿势正确渲染身体纹理，研究人员优化了另一组稀疏的高斯函数作为锚点，来约束神经扭曲场，将图像平面坐标映射到纹理空间。研究人员证明，高斯头部和肩膀可以高保真地适应穿衣上半身的高频细节，并潜在地提高头部区域的准确性和保真度。研究人员使用普通手机拍摄和互联网视频进行了评估，并展示了他们的方法在自我和交叉再现任务中具有优越的重建质量和鲁棒性。为了充分利用高斯点云的高效渲染速度，研究人员还提出了一种加速推理方法，不需要多层感知器（MLP）查询，并实现了大约130 FPS的稳定渲染速度，适用于任何主体。

本论文的问题是如何在高保真度的情况下重建身体部位，而不仅仅是头部，以及如何利用高斯喷洒来加速渲染速度。

论文中提出了一种新的方法，使用神经纹理来建模身体部位，同时优化一组高斯锚点来约束神经变形场，以实现高保真度的身体重建。同时，论文还提出了一种加速推理的方法，使得渲染速度可以达到每秒130帧。

论文使用了高斯喷洒和神经纹理相结合的方法来实现高保真度的身体重建，同时提出了加速推理的方法。实验使用了手机拍摄和网络视频，并展示了该方法在自我和交叉重演任务中的优越重建质量和稳健性。

近期的相关研究包括使用深度学习的人体姿态估计和重建方法，以及使用高斯喷洒的头部重建方法。