Expressive Gaussian Human Avatars from Monocular RGB Video

细致的手部和面部表情尤其是微妙的表达方式对于增强数字人物形象的真实感和生动性至关重要。本文研究了从单目RGB视频中学习人类化身的表现力，该设置在捕捉和动画化细节方面引入了新的挑战。为此，我们介绍了EVA，一种可驾驶的人类模型，它基于3D高斯和SMPL-X，一种富有表现力的参数化人类模型，精心雕刻了细节。我们的工作旨在增强表现力，做出了三个关键贡献。首先，我们强调将SMPL-X模型与RGB帧对齐对于有效的化身学习的至关重要性。鉴于当前SMPL-X预测方法在野外视频中的局限性，我们引入了一个即插即用的模块，显著改善了对齐问题。其次，我们提出了一种上下文感知的自适应密度控制策略，该策略自适应地调整梯度阈值以适应身体各部分的不同粒度。最后但并非最不重要的是，我们开发了一种反馈机制，预测每个像素的置信度，以更好地指导3D高斯的学习。在两个基准测试上的广泛实验表明，我们的框架在定量和定性上都表现出优越性，特别是在手部和面部的细节方面。请访问项目网站\url{https://evahuman.github.io}。

本文试图解决从单目RGB视频中学习人类形象的表现力问题，特别是对于细节的表现力。该问题是否为新问题尚不确定。

本文提出了一种驱动式人类模型EVA，该模型基于3D高斯和SMPL-X，旨在通过上下文感知的自适应密度控制策略和反馈机制来提高表现力。此外，本文还介绍了一种插入式模块，用于解决SMPL-X模型在野外视频中的预测问题。

本文的实验结果表明，该框架在两个基准测试中的表现均优于当前领域内的其他方法，尤其是在手和面部细节方面。此外，该项目还提供了开源代码和数据集，并且值得进一步研究。

最近在这个领域中，还有一些相关研究，例如“Deep Video-Based Performance Synthesis”和“Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans”。