TexVocab: Texture Vocabulary-conditioned Human Avatars

为了充分利用多视角视频人物建模中的可用图像证据，我们提出了一种新的人物表示方法TexVocab，它构建了一个纹理词汇表，并将身体姿势与纹理贴图关联起来进行动画制作。在给定多视角RGB视频的情况下，我们的方法最初将训练视频中的所有可用图像反向投影到姿态SMPL表面上，生成SMPL UV域中的纹理贴图。然后，我们构建了人类姿势和纹理贴图的配对，建立了一个纹理词汇表，以编码各种姿势下的动态人类外观。与通常使用的关节方式不同，我们进一步设计了一种身体部位编码策略，以学习运动链的结构效应。给定驱动姿势，我们通过将姿势向量分解为几个身体部位并插值纹理特征来分层查询姿势特征，以合成精细的人类动态。总体而言，我们的方法能够从RGB视频中创建具有详细和动态外观的可动画人物，实验表明我们的方法优于最先进的方法。项目页面可在https://texvocab.github.io/找到。

TexVocab论文试图解决如何利用多视角视频数据构建逼真的人物模型的问题。该方法通过构建纹理词汇表和将身体姿势与纹理映射关联来实现动画效果。

TexVocab的关键思路是通过构建纹理词汇表和身体部位编码策略来学习动态人类外观的结构影响和细节信息。

TexVocab方法能够从RGB视频中创建具有详细和动态外观的可动画人物模型，并且实验表明其优于现有方法。该论文提供了项目页面和开源代码。

在这个领域最近的相关研究包括：SMPLify-X、Neural Body、SCANimate等。