SMPLX-Lite: A Realistic and Drivable Avatar Benchmark with Rich Geometry and Texture Annotations

恢复逼真且可驾驶的全身化身对许多应用至关重要，包括虚拟现实、3D游戏和远程呈现。大多数方法，无论是重建还是生成，都需要大量的人类动作序列和相应的纹理网格。为了轻松学习可驾驶的化身，一个合理的参数化身体模型具有统一的拓扑结构至关重要。然而，现有的人体数据集要么只有图像或纹理模型，缺乏适合衣服的参数化模型。我们提出了一个新的参数化模型SMPLX-Lite-D，它可以适应扫描网格的详细几何形状，同时保持脸部、手部和脚部区域的稳定几何形状。我们提供了SMPLX-Lite数据集，这是最全面的服装化身数据集，包括多视角RGB序列、关键点注释、纹理扫描网格和纹理SMPLX-Lite-D模型。通过SMPLX-Lite数据集，我们训练了一个条件变分自编码器模型，该模型以人体姿势和面部关键点作为输入，并生成逼真的可驾驶人类化身。

本文旨在解决虚拟现实、3D游戏和远程存在等应用中的全身驾驶化真实头像的生成问题，提出了一种新的参数化身体模型SMPLX-Lite-D，并构建了最全面的服装头像数据集SMPLX-Lite，以此训练条件变分自编码器模型，生成真实驾驶头像。

本文提出了一种新的参数化身体模型SMPLX-Lite-D，该模型可以在保持面部、手部和脚部区域几何稳定的同时，适应扫描网格的详细几何形状，从而更容易地学习驾驶头像。使用SMPLX-Lite数据集训练条件变分自编码器模型，该模型以人类姿势和面部关键点为输入，生成真实驾驶头像。

本文构建了最全面的服装头像数据集SMPLX-Lite，包括多视角RGB序列、关键点注释、纹理扫描网格和纹理SMPLX-Lite-D模型。使用SMPLX-Lite数据集训练的条件变分自编码器模型可以生成真实驾驶头像。此外，本文提出的SMPLX-Lite-D模型在保持面部、手部和脚部区域几何稳定的同时，适应扫描网格的详细几何形状，具有较高的实用性。

近期在这个领域中，还有一些相关的研究，如：《3D人体建模的综述》、《基于深度学习的3D人体姿态估计》等。