HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting

近几年来，3D头部动画在质量和运行时间方面取得了重大进展，特别是受到可微分渲染和神经辐射场的进展的推动。实时渲染是实际应用中非常理想的目标。我们提出了HeadGaS，这是第一个使用3D高斯斑点（3DGS）进行3D头部重建和动画的模型。在本文中，我们介绍了一个混合模型，它将3DGS的显式表示扩展到可学习的潜在特征基础上，这些特征可以与参数化头部模型的低维参数进行线性混合，以获得表情相关的最终颜色和不透明度值。我们证明了HeadGaS在实时推断帧速率方面提供了最先进的结果，超过了基准线约2dB，同时将渲染速度加速了10倍以上。

HeadGaS试图解决3D头部重建和动画的实时渲染问题，提高渲染速度和质量。这是一个新问题。

HeadGaS使用3D高斯Splats（3DGS）和可学习的潜在特征的混合模型来实现3D头部重建和动画。这个模型可以通过与参数化头部模型的低维参数进行线性混合来获得表情相关的最终颜色和不透明度值。HeadGaS在实时推理帧速率方面提供了最先进的结果，并且比基线模型提高了约2dB的性能，同时加速了渲染速度超过x10。

HeadGaS是第一个使用3D高斯Splats（3DGS）进行3D头部重建和动画的模型。实验设计了多个数据集来验证模型的性能，并且开源了代码。

最近在这个领域中，还有一些相关的研究，例如Neural Radiance Fields（NeRF）、Differentiable Rendering等。